Karışıklık matrisi
Karışıklık matrisi, tahminleri dört kutuya ayırıyor.
Model evet dedi, gerçekten oldu: doğru pozitif. Model evet dedi, olmadı: yanlış alarm. Model hayır dedi, oldu: kaçırılan. Model hayır dedi, olmadı: doğru negatif.
Bu dört sayı, modelin başarısının tam resmi. Tek bir “isabet oranı” bu resmi gizliyor.
İki temel oran
Matristen iki oran çıkıyor.
Kesinlik. Model evet dediğinde ne sıklıkla haklı. İşlem yaptığınızda ne olacağını söylüyor.
Duyarlılık. Gerçek olayların ne kadarını yakaladı. Kaçırdıklarınızı söylüyor.
İkisi arasında takas var. Eşiği yükseltince kesinlik artar, duyarlılık düşer. Koşullu olasılık yazımızdaki iki ters soru bunlar.
ROC eğrisi
ROC eğrisi, farklı karar eşiklerinde modelin performansını gösteriyor.
Yatay eksende yanlış alarm oranı, dikey eksende doğru yakalama oranı. Eşiği değiştirdikçe model bu eğri üzerinde hareket ediyor.
İyi bir model, eğriyi sol üste iter: az yanlış alarmla çok yakalama. Rastgele bir model, köşegen bir çizgi verir.
Eğrinin altındaki alan (AUC), tek bir başarı sayısı. 0,5 rastgele, 1,0 mükemmel. 0,5’e yakınsa model işe yaramıyor.
Finansta düşük AUC
Finansta AUC genelde 0,5’e yakın çıkıyor ve bu normal.
Getiri tahmininde 0,55’lik bir AUC bile kullanılabilir sayılıyor. Diğer alanlarda bu değersiz olurdu.
Sebebi, sinyal gürültü oranının düşük olması. Getiriler büyük ölçüde öngörülemez, dolayısıyla mükemmele yakın bir sınıflandırma imkansız.
Yani bir finans modeli 0,9 AUC iddia ediyorsa, sevinmeden önce sızıntı ya da aşırı uyum ihtimalini düşünün. O kadar yüksek AUC, bu alanda beklenmez.
Dengesizlik tuzağı
Karışıklık matrisinde bir tuzak: dengesiz sınıflar.
Piyasa aylarının yüzde 60’ı yükselişse, “her zaman yükselir” diyen bir model yüzde 60 isabet eder. Hiçbir şey öğrenmemiştir ama isabet oranı fena görünmez.
Bu yüzden isabet oranını taban oranla karşılaştırmak şart. Ve dengesiz durumlarda ROC/AUC, isabet oranından daha güvenilir.
Nasıl okumalı
Bir sınıflandırma sonucunda karışıklık matrisi ya da ROC verilmiş mi?
Sadece isabet oranı verilmişse, taban oranla karşılaştırın. Dengesiz sınıflarda yanıltıcı.
Kesinlik ve duyarlılık ayrı ayrı verilmiş mi? İkisi arasındaki takas önemli.
AUC ne? Finansta 0,55 bile kullanılabilir; 0,9 şüpheli derecede yüksek.
Ve iki hata türünün (yanlış alarm, kaçırılan) maliyeti sizin için eşit mi?
Sıradaki
Sıradaki yazıda çapraz doğrulama skorlarını ele alıyoruz. Bir modelin gerçek performansını ölçen bu skorların nasıl okunacağını göreceğiz.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.