Discover Artificial Intelligence· 2026Q1
Bölgesel Müzik Özelliklerini Eğitim İçin Görselleştiren Yeni Yapay Zeka Modeli
A study on a visualization teaching system for regional music based on the multimodal MusicFormer
- 0atıf
- Q1SCImago
- 2026yıl
Kısa özet
Parçalı bölgesel müzik özelliklerini (ses, nota, şarkı sözü, etiketler) etkili bir şekilde görselleştiren yeni bir multimodal MusicFormer yapay zeka modeli, yüksek doğruluk (%89,98-94,63 F1 skorları) elde etti ve sınıf içi etkileşimi geliştirdi (%94,28 görev tamamlama).
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Parçalı bölgesel müzik özelliklerini görselleştirmek için multimodal bir MusicFormer yapay zeka modeli geliştirildi.
- Model, 'modele özgü kodlayıcı—çapraz modalite dikkat füzyonu—uzay kısıtlı kod çözücü—görselleştirme eşlemesi' çerçevesini kullanarak ses, nota, şarkı sözü ve etiket verilerini entegre eder.
- Bölgesel stil, tür, modal yapı, ritmik desen ve performans bağlamı tanıma için %89,98 ile %94,63 arasında F1 skorları elde edildi.
- Tek modaliteli yaklaşımlara kıyasla üstün modalite hizalama benzerliği (0,891) gösterildi.
- Kullanıcı çalışması, %94,28 görev tamamlama oranı ve 226 ms arayüz yanıt süresi ile sınıf içi etkileşimde iyileşme sağladı.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
To solve the problem of the intuitive identification of the stylistic features of regional music education, which is characterized by the fragmental expression of audio, sheet music, lyric semantics and regional cultural tags, this study proposes a regional music visualization teaching model based on the multimodal MusicFormer. To make regional music features seamlessly transform from the data ingestion to the music classroom, the model is based on the multi-head attention mechanism of the Transformer, additionally with the addition of audio spectrogram encoding, music score structure encoding, lyric semantic encoding, and regional label constraints. This created a technical framework which included a “modal-specific encoder—cross-modal attention fusion—space-constrained decoder—visualization mapping”. A dataset comprising 3,260 regional music samples, 18,450 audio segments, and 9,680 classroom interaction records was constructed.Experiments demonstrate that the F1-scores of the model for regional style recognition, music genre recognition, modal structure recognition, rhythmic pattern recognition and performance context recognition are between 89.98 and 94.63%, the modality alignment similarity of the fused representations is 0.891, which outperforms the modality alignment similarity of audio spectrogram features (0.873), modality alignment similarity of musical score structure features (0.841), and modality alignment similarity of lyric semantic features (0.806), and the visualization mapping error is reduced to 0.076. In the concurrent experiment with 126 participants, the average response time of the system’s interface was 226 ms, and the rate of task completion was 94.28%, which shows that this model has the ability to improve the performance in regional music feature recognition, visual expression and classroom interaction support.
Yazarların özeti; kaynağından alınmıştır. Discover Artificial Intelligence, 2026 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Sinyal İşleme
Signal ProcessingComputer Science