PofoliaPofolia ile paylaşıldı

· 2016

Tekrarlayan 3B Evrişimsel Sinir Ağları ile Dinamik El Hareketlerinin Çevrimiçi Tespiti ve Sınıflandırılması

Online Detection and Classification of Dynamic Hand Gestures with Recurrent 3D Convolutional Neural Networks

Pavlo Molchanov, Xiaodong Yang, Shalini Gupta, Kihwan Kim ve diğerleri

Kısa özet

Tekrarlayan bir 3B evrişimsel sinir ağı (R3D-CNN), dinamik el hareketlerini çevrimiçi olarak eş zamanlı tespit edip sınıflandırarak %83,8 doğruluk oranı elde etti; bu, önceki yöntemleri geride bıraktı ve insan doğruluğuna (%88,4) yaklaştı.

Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.

Ana noktalar

  • Tekrarlayan bir 3B evrişimsel sinir ağı (R3D-CNN), dinamik el hareketlerinin eş zamanlı çevrimiçi tespitini ve sınıflandırılmasını gerçekleştirir.
  • R3D-CNN, yeni bir çok modlu dinamik el hareketi veri kümesinde %83,8 doğruluk oranı elde etti.
  • Sistemin doğruluğu insan performansına (88,4%) yaklaşıyor ve rakip en gelişmiş algoritmaları geride bırakıyor.
  • Bağlantısal zamansal sınıflandırma, ağın kesintisiz, devam eden jestlerden etiketleri tahmin etmesi için eğitilmesinde kullanıldı.

Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.

Özet (abstract)

Automatic detection and classification of dynamic hand gestures in real-world systems intended for human computer interaction is challenging as: 1) there is a large diversity in how people perform gestures, making detection and classification difficult, 2) the system must work online in order to avoid noticeable lag between performing a gesture and its classification, in fact, a negative lag (classification before the gesture is finished) is desirable, as feedback to the user can then be truly instantaneous. In this paper, we address these challenges with a recurrent three-dimensional convolutional neural network that performs simultaneous detection and classification of dynamic hand gestures from multi-modal data. We employ connectionist temporal classification to train the network to predict class labels from inprogress gestures in unsegmented input streams. In order to validate our method, we introduce a new challenging multimodal dynamic hand gesture dataset captured with depth, color and stereo-IR sensors. On this challenging dataset, our gesture recognition system achieves an accuracy of 83:8%, outperforms competing state-of-the-art algorithms, and approaches human accuracy of 88:4%. Moreover, our method achieves state-of-the-art performance on SKIG and ChaLearn2014 benchmarks.

Yazarların özeti; kaynağından alınmıştır., 2016 · DOI ↗

ÇıkarımlarPremium
Makaleye SorÜcretsiz hesapla

Ücretsiz hesapla devam et

Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.

Web'de ücretsiz devam et

Google ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.

Telefonda:

Alan: İnsan-Bilgisayar Etkileşimi

Human-Computer InteractionComputer Science