IEEE/ACM Transactions on Audio Speech and Language Processing· 2019Q1
Conv-TasNet: Konuşma Ayırmada İdeal Zaman-Frekans Büyüklük Maskelemesini Aşmak
Conv-TasNet: Surpassing Ideal Time–Frequency Magnitude Masking for Speech Separation
- 2.055atıf
- Q1SCImago
- 2019yıl
Kısa özet
Tamamen evrişimli bir zaman-alan derin öğrenme ağı olan Conv-TasNet, dalga formu üzerinde doğrudan çalışarak ve zaman-frekans maskeleme yöntemlerini aşarak, iki konuşmacılı senaryolarda ideal maskeleri bile geride bırakarak son teknoloji konuşma ayırma performansı elde eder.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Conv-TasNet, zaman-frekans yöntemlerinin faz/büyüklük ayrışma sorunlarını önleyerek, doğrudan zaman alanında tam evrişimli bir mimari kullanır.
- Genişletilmiş evrişim bloklarına sahip zamansal evrişimli ağ (TCN), küçük bir model boyutuyla uzun vadeli konuşma bağımlılıklarını modellemeyi sağlar.
- Sistem, iki ve üç konuşmacılı karışımları ayırmada mevcut zaman-frekans maskeleme yöntemlerine göre üstün performans gösterir.
- Conv-TasNet, iki konuşmacılı ayırmada ideal zaman-frekans büyüklük maskelerini aşar; bu, hem nesnel ölçümler hem de insan dinleyiciler tarafından yapılan öznel kalite değerlendirmeleriyle doğrulanmıştır.
- Önerilen ağ, önemli ölçüde daha küçük model boyutu ve çok daha kısa minimum gecikme süresi sunarak hem çevrimdışı hem de gerçek zamanlı konuşma ayırma uygulamaları için uygun bir çözüm haline gelir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency of the entire system. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two- and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a much shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.
Yazarların özeti; kaynağından alınmıştır. IEEE/ACM Transactions on Audio Speech and Language Processing, 2019 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Sinyal İşleme
Signal ProcessingComputer Science