SIAM Journal on Applied Mathematics· 2026Q1
Nöral ODE Eğitiminde Otomatik Türevlemenin Düzeltilmesi
Correcting Autodifferentiation in Neural ODE Training
- 1atıf
- Q1SCImago
- 2026yıl
Kısa özet
Yüksek dereceli yöntemler (leapfrog veya ERK gibi) kullanan Nöral ODE'lerde kaba kuvvet otomatik türevleme, yakınsamayı engelleyen gradyan salınımları üretebilir; basit son işleme teknikleri bu gradyanları düzeltebilir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Yüksek dereceli yöntemlerle Nöral ODE'lerde otomatik türevleme, yapay gradyan salınımları üretebilir.
- Bu salınımlar model eğitiminde yakınsamayı engeller.
- Leapfrog ve 2 aşamalı ERK yöntemleri için gradyanları düzeltmek üzere basit son işleme teknikleri önerilmiştir.
- Düzeltilmiş gradyanlar doğru güncellemelerle sonuçlanır ve yakınsamayı sağlar.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Abstract. Does the use of autodifferentiation yield reasonable updates for deep neural networks (DNNs)? Specifically, when DNNs are designed to adhere to neural ODE architectures, can we trust the gradients provided by autodifferentiation? Through mathematical analysis and numerical evidence, we demonstrate that when neural networks employ high-order methods, such as linear multistep methods or explicit Runge–Kutta Methods (ERK), to approximate the underlying ODE flows, brute-force autodifferentiation often introduces artificial oscillations in the gradients that prevent convergence. In the case of leapfrog and 2-stage ERK, we propose simple postprocessing techniques that effectively eliminate these oscillations, correct the gradient computation, and thus return the accurate updates.
Yazarların özeti; kaynağından alınmıştır. SIAM Journal on Applied Mathematics, 2026 · DOI ↗
Devamı Pofolia uygulamasında
Çıkarımlar ve makaleye soru sorma; ilgi alanına göre her gün yeni özetler. Ücretsiz.
Web'de giriş yaparak açAlan: İstatistiksel ve Doğrusal Olmayan Fizik
Statistical and Nonlinear PhysicsPhysics and Astronomy