arXiv (Cornell University)· 2014· Ön baskı
Pseudo-Topluluklarla Öğrenme
Learning with Pseudo-Ensembles
- 361atıf
- 2014yıl
Kısa özet
Gürültü yoluyla bir ana modelden türetilen model koleksiyonları olan 'sözde-toplulukları' resmileştiren yeni bir düzenlileştirme tekniği, yarı denetimli öğrenmede son teknoloji sonuçlar elde ediyor.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Pertürbe edilmiş alt modeller koleksiyonları olarak 'sözde-toplulukları' resmileştirir.
- Gürültü süreçlerine dayanıklı, sözde-topluluklar için yeni bir düzenlileştirici sunar.
- Tam denetimli ayarlarda dropout performansına ulaşır.
- Yarı denetimli öğrenmede son teknoloji sonuçlar elde eder.
- Gerçek dünya duygu analizi kıyaslamasında önemli performans artışları gösterir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
We formalize the notion of a pseudo-ensemble, a (possibly infinite) collection of child models spawned from a parent model by perturbing it according to some noise process. E.g., dropout (Hinton et. al, 2012) in a deep neural network trains a pseudo-ensemble of child subnetworks generated by randomly masking nodes in the parent network. We present a novel regularizer based on making the behavior of a pseudo-ensemble robust with respect to the noise process generating it. In the fully-supervised setting, our regularizer matches the performance of dropout. But, unlike dropout, our regularizer naturally extends to the semi-supervised setting, where it produces state-of-the-art results. We provide a case study in which we transform the Recursive Neural Tensor Network of (Socher et. al, 2013) into a pseudo-ensemble, which significantly improves its performance on a real-world sentiment analysis benchmark.
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2014 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Hesaplamalı Matematik
Computational MathematicsMathematics