arXiv (Cornell University)· 2019· Ön baskı
Adam ve Sonrasının Yakınsaması Üzerine
On the Convergence of Adam and Beyond
- 1.618atıf
- 2019yıl
Kısa özet
Bu makale, Adam gibi popüler derin öğrenme optimize edicilerindeki üstel hareketli ortalamayı, belirli ayarlarda yakınsama hatasının nedeni olarak tanımlamakta ve bu sorunları gideren 'uzun vadeli belleğe' sahip yeni varyantlar önermektedir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Adam gibi optimize edicilerdeki üstel hareketli ortalamalar yakınsama hatalarına neden olabilir.
- Belirli bir dışbükey optimizasyon örneği, Adam'ın yakınsamama durumunu göstermektedir.
- Uzun vadeli belleğe sahip yeni Adam varyantları önerilmektedir.
- Bu yeni varyantlar yakınsama sorunlarını giderir ve ampirik performansı iyileştirir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Several recently proposed stochastic optimization methods that have been successfully used in training deep networks such as RMSProp, Adam, Adadelta, Nadam are based on using gradient updates scaled by square roots of exponential moving averages of squared past gradients. In many applications, e.g. learning with large output spaces, it has been empirically observed that these algorithms fail to converge to an optimal solution (or a critical point in nonconvex settings). We show that one cause for such failures is the exponential moving average used in the algorithms. We provide an explicit example of a simple convex optimization setting where Adam does not converge to the optimal solution, and describe the precise problems with the previous analysis of Adam algorithm. Our analysis suggests that the convergence issues can be fixed by endowing such algorithms with `long-term memory' of past gradients, and propose new variants of the Adam algorithm which not only fix the convergence issues but often also lead to improved empirical performance.
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2019 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Felsefe
PhilosophyArts and Humanities