IEEE/ACM Transactions on Audio Speech and Language Processing· 2017Q1
Derin Tekrarlayan Sinir Ağlarının Cümle Düzeyinde Permütasyon Değişmez Eğitim ile Çoklu Konuşmacı Konuşma Ayırma
Multitalker Speech Separation With Utterance-Level Permutation Invariant Training of Deep Recurrent Neural Networks
- 862atıf
- Q1SCImago
- 2017yıl
Kısa özet
Cümle düzeyinde permütasyon değişmez eğitim (uPIT), derin tekrarlayan sinir ağlarının, sinyal süresi, konuşmacı sayısı veya konuşmacı kimliği hakkında ön bilgi olmadan çoklu konuşmacı konuşmasını ayırmasını sağlar.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Uçtan uca derin öğrenme tabanlı konuşma ayırma için cümle düzeyinde permütasyon değişmez eğitimini (uPIT) tanıtır.
- uPIT, cümle düzeyinde bir maliyet fonksiyonu kullanarak çıkarımı basitleştirir ve permütasyon çözme ihtiyacını ortadan kaldırır.
- Eğitilmiş modeller, sinyal süresi, konuşmacı sayısı veya konuşmacı kimliği hakkında ön bilgi olmadan çoklu konuşmacı konuşmasını ayırabilir.
- uPIT, WSJ0 ve Danca veri kümelerinde NMF ve C-ASA'dan daha iyi performans gösterir ve derin kümeleme ve DAN ile olumlu karşılaştırılır.
- uPIT ile eğitilmiş modeller, görülmemiş konuşmacılara ve dillere genellenir ve hem iki hem de üç konuşmacılı karışımları işleyebilir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
In this paper, we propose the utterance-level permutation invariant training (uPIT) technique. uPIT is a practically applicable, end-to-end, deep-learning-based solution for speaker independent multitalker speech separation. Specifically, uPIT extends the recently proposed permutation invariant training (PIT) technique with an utterance-level cost function, hence eliminating the need for solving an additional permutation problem during inference, which is otherwise required by frame-level PIT. We achieve this using recurrent neural networks (RNNs) that, during training, minimize the utterance-level separation error, hence forcing separated frames belonging to the same speaker to be aligned to the same output stream. In practice, this allows RNNs, trained with uPIT, to separate multitalker mixed speech without any prior knowledge of signal duration, number of speakers, speaker identity, or gender. We evaluated uPIT on the WSJ0 and Danish two- and three-talker mixed-speech separation tasks and found that uPIT outperforms techniques based on nonnegative matrix factorization and computational auditory scene analysis, and compares favorably with deep clustering, and the deep attractor network. Furthermore, we found that models trained with uPIT generalize well to unseen speakers and languages. Finally, we found that a single model, trained with uPIT, can handle both two-speaker, and three-speaker speech mixtures.
Yazarların özeti; kaynağından alınmıştır. IEEE/ACM Transactions on Audio Speech and Language Processing, 2017 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Sinyal İşleme
Signal ProcessingComputer Science