arXiv (Cornell University)· 2015· Ön baskı
Sele Noktalarından Kaçış: Tensör Ayrıştırma için Çevrimiçi Stokastik Gradyan
Escaping From Saddle Points --- Online Stochastic Gradient for Tensor\n Decomposition
- 611atıf
- 2015yıl
Kısa özet
Bu makale, mevcut sele noktalarına takılma eğilimli yöntemlere göre önemli bir gelişme olan, dışbükey olmayan fonksiyonlar için yerel minimuma yakınsamayı garanti eden yeni bir stokastik gradyan iniş yöntemi sunmaktadır.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Dışbükey olmayan fonksiyonların verimli optimizasyonu için 'katı sele özelliği' tanımlandı.
- Stokastik gradyan iniş, polinom iterasyonlarda yerel minimuma yakınsar.
- Çok sayıda sele noktasına sahip dışbükey olmayan fonksiyonlar için SGD'de ilk küresel yakınsama garantisi.
- Küresel yakınsama garantili ilk ortogonal tensör ayrıştırma çevrimiçi algoritması geliştirildi.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
We analyze stochastic gradient descent for optimizing non-convex functions.\nIn many cases for non-convex functions the goal is to find a reasonable local\nminimum, and the main concern is that gradient updates are trapped in saddle\npoints. In this paper we identify strict saddle property for non-convex problem\nthat allows for efficient optimization. Using this property we show that\nstochastic gradient descent converges to a local minimum in a polynomial number\nof iterations. To the best of our knowledge this is the first work that gives\nglobal convergence guarantees for stochastic gradient descent on non-convex\nfunctions with exponentially many local minima and saddle points. Our analysis\ncan be applied to orthogonal tensor decomposition, which is widely used in\nlearning a rich class of latent variable models. We propose a new optimization\nformulation for the tensor decomposition problem that has strict saddle\nproperty. As a result we get the first online algorithm for orthogonal tensor\ndecomposition with global convergence guarantee.\n
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2015 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Hesaplamalı Matematik
Computational MathematicsMathematics