arXiv (Cornell University)· 2013· Ön baskı
Kelimelerin ve İfadelerin Dağıtılmış Temsilleri ve Bileşimleri
Distributed Representations of Words and Phrases and their Compositionality
- 18.083atıf
- 2013yıl
Kısa özet
Bu makale, sık kelimelerin alt örneklemesi ve yeni bir negatif örnekleme yöntemiyle eğitim hızını ve vektör kalitesini önemli ölçüde iyileştiren kelime vektör temsillerini öğrenmek için Skip-gram modeline yapılan geliştirmeleri sunmaktadır.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Daha hızlı eğitim ve daha düzenli kelime temsilleri için sık kelimelerin alt örneklemesi tanıtıldı.
- Hiyerarşik softmax'a verimli bir alternatif olarak negatif örnekleme sunuldu.
- Kelime sırası sınırlamalarını aşarak ifadeler için vektör temsilleri öğrenme yöntemi geliştirildi.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensions that improve both the quality of the vectors and the training speed. By subsampling of the frequent words we obtain significant speedup and also learn more regular word representations. We also describe a simple alternative to the hierarchical softmax called negative sampling. An inherent limitation of word representations is their indifference to word order and their inability to represent idiomatic phrases. For example, the meanings of "Canada" and "Air" cannot be easily combined to obtain "Air Canada". Motivated by this example, we present a simple method for finding phrases in text, and show that learning good vector representations for millions of phrases is possible.
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2013 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Yapay Zeka
Artificial IntelligenceComputer Science