Yükselecek mi sorusunu cevaplayan bir modeli nasıl değerlendirirsiniz

İsabet oranı yetmiyor

En doğal ölçü, doğru tahmin yüzdesi. Ama bu ölçü, dengesiz durumlarda tamamen yanıltıyor.

Örnek: piyasa aylarının yüzde 60’ında yükseliyor. “Her zaman yükselecek” diyen bir model, yüzde 60 isabet elde ediyor.

Hiçbir şey öğrenmemiş bir model bu. Ama isabet oranı fena görünmüyor.

Bu yüzden isabet oranını her zaman taban oranıyla karşılaştırmak gerekiyor. Modeliniz yüzde 62 isabet ediyorsa ve taban oran yüzde 60 ise, katkısı iki puan.

Dört olası sonuç

Bir sınıflandırma modelinin çıktısı dört kutuya düşüyor.

Model yükselecek dedi, yükseldi. Doğru pozitif. Model yükselecek dedi, yükselmedi. Yanlış alarm. Model yükselmeyecek dedi, yükseldi. Kaçırılan fırsat. Model yükselmeyecek dedi, yükselmedi. Doğru negatif.

İki hata eşit değil

Kritik nokta bu.

Yanlış alarm size işlem maliyeti ve muhtemelen zarar getiriyor. Somut ve görünür.

Kaçırılan fırsat size hiçbir şey kaybettirmiyor gibi görünüyor ama aslında getiriden vazgeçiyorsunuz. Görünmez bir maliyet.

Hangisinin daha pahalı olduğu stratejinize bağlı ve bu, karar eşiğinizi belirliyor.

Karar eşiği

Çoğu model aslında bir olasılık üretiyor: bu hisse yüzde 58 ihtimalle yükselir.

Bunu evet hayıra çevirmek için bir eşik belirliyorsunuz. Yüzde 50 mi, yüzde 60 mı?

Eşiği yükseltirseniz: daha az işlem, daha az yanlış alarm, daha çok kaçırılan fırsat.

Eşiği düşürürseniz: tersi.

Doğru eşik, iki hatanın size maliyetine bağlı. Ve bu maliyet, sizin durumunuza özgü.

İşlem maliyetiniz yüksekse eşiği yükseltin. Kaçırma korkunuz baskınsa düşürün ama maliyeti hesaplayın.

İki faydalı ölçü

Kesinlik. Model yükselecek dediğinde ne sıklıkla haklı çıkıyor? İşlem yaptığınızda ne olacağını söylüyor.

Duyarlılık. Gerçek yükselişlerin ne kadarını yakalıyor? Kaçırdıklarınızı söylüyor.

İkisi arasında takas var. Eşiği yükselttiğinizde kesinlik artıyor, duyarlılık düşüyor.

Koşullu olasılık yazımızda anlattığımız iki ters soru bunlar. Kesinlik, “sinyal geldiğinde ne oluyor” sorusunun cevabı ve sizi ilgilendiren o.

Bizim neden sınıflandırma kullanmadığımız

Kompozit skorumuz evet hayır cevabı vermiyor. Bir sıralama üretiyor.

Bunun iki sebebi var.

Bilgi kaybı olmuyor. “Yükselir” demek, bir hissenin ne kadar umut verici olduğu bilgisini atıyor. Sıralama o bilgiyi koruyor.

Eşik seçmek zorunda kalmıyoruz. Sıralama yaptığınızda “en iyi N tanesini al” diyorsunuz. N’i portföy büyüklüğünüz belirliyor, bir olasılık eşiği değil.

Bu, keyfi bir karar noktasını ortadan kaldırıyor. Pencere seçimi yazımızda anlattığımız keyfilik sorununun bir örneği daha.

Ne zaman sınıflandırma uygun

Karar gerçekten ikili ise mantıklı.

“Bu şirket önümüzdeki iki yıl içinde temettü kesecek mi” gibi bir soru sınıflandırma sorusu.

“Bu hisse ne kadar kazandıracak” ise değil. Onu ikiliye çevirmek bilgi kaybı.

Genel kural: sorunuz doğal olarak ikili değilse, ikiliye çevirmeyin.

Sıradaki

Bir sonraki yazıda kayıp fonksiyonunu ele alıyoruz. Modelinizi neyi en iyi yapacak şekilde eğittiğiniz, ne elde edeceğinizi belirliyor.

Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.