arXiv (Cornell University)· 2020· Ön baskı
Değerlendirme: hassasiyetten, hatırlamaya ve F-ölçüsünden ROC'a, bilgililiğe, işaretlenmeye ve korelasyona
Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation
- 4.431atıf
- 2020yıl
Kısa özet
Yaygın olarak kullanılan Hassasiyet, Hatırlama ve F-Ölçüsü gibi değerlendirme metrikleri yanlıdır ve sistem performansını yanlış gösterebilir, daha kötü sistemleri daha iyiymiş gibi gösterebilir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Ana noktalar
- Standart metrikler (Hassasiyet, Hatırlama, F-Ölçüsü) yanlıdır ve gerçek sistem performansını gizleyebilir.
- Objektif olarak daha kötü performans gösteren bir sistem, bu yaygın ölçümler kullanılarak daha iyi görünebilir.
- Bilgililik ve İşaretlenme, tahmin kalitesinin daha güvenilir ölçümleri olarak önerilmektedir.
- Bilgililik, İşaretlenme, Korelasyon ve Anlamlılık arasındaki bağlantılar gösterilmektedir.
Yapay zekâ ile başlık ve abstract'tan üretildi; tam metin okunmaz.
Özet (abstract)
Commonly used evaluation measures including Recall, Precision, F-Measure and Rand Accuracy are biased and should not be used without clear understanding of the biases, and corresponding identification of chance or base case levels of the statistic. Using these measures a system that performs worse in the objective sense of Informedness, can appear to perform better under any of these commonly used measures. We discuss several concepts and measures that reflect the probability that prediction is informed versus chance. Informedness and introduce Markedness as a dual measure for the probability that prediction is marked versus chance. Finally we demonstrate elegant connections between the concepts of Informedness, Markedness, Correlation and Significance as well as their intuitive relationships with Recall and Precision, and outline the extension from the dichotomous case to the general multi-class case.
Yazarların özeti; kaynağından alınmıştır. arXiv (Cornell University), 2020 · DOI ↗
Ücretsiz hesapla devam et
Makaleye Sor ile bu makaleye günde 3 soru ücretsiz; makaleyi kaydet, kaynakçasını al, ilgi alanına göre her gün yeni özetler. Çıkarımlar Premium.
Web'de ücretsiz devam etGoogle ya da Apple hesabınla giriş; kart istemez. Bu makaleye geri dönersin.
Telefonda:
Alan: Hesaplamalı Kuram ve Matematik
Computational Theory and MathematicsComputer Science