Klasik seçim ve sorunu
En yaygın hata ölçüsü, hataların karesi. Tahmin ile gerçek arasındaki farkın karesini alıp topluyorsunuz.
Kare almanın bir sonucu var: büyük hatalar orantısız cezalandırılıyor.
Bu bazı durumlarda doğru. Ama borsada bir sorun yaratıyor: model, uç gözlemlere aşırı odaklanıyor.
Bir hisse bir ayda yüzde 400 yaptıysa, model o gözlemin hatasını küçültmek için bütün yapısını bozabiliyor. Halbuki o gözlem büyük ölçüde tesadüf.
Doğru soru: gerçekte neyi umursuyorsunuz
Optimizasyon hedefinizi seçmeden önce sormanız gereken soru bu.
Getiriyi tam olarak tahmin etmeyi mi umursuyorsunuz? Muhtemelen hayır. Sinyal gürültü oranı yazımızda gördüğümüz gibi, bu zaten mümkün değil.
Sıralamayı doğru yapmayı umursuyorsunuz. Hangi hisselerin diğerlerinden iyi olacağını.
O zaman modelinizi getiri tahmin etmeye değil, sıralama yapmaya göre eğitmelisiniz.
Alternatif hata ölçüleri
Mutlak hata. Kare yerine mutlak değer. Uç gözlemlere daha az duyarlı.
Sıralama bazlı hata. Doğrudan sıralamanın doğruluğunu ölçüyor. Bizim yaptığımız işe en yakın olan.
Asimetrik hata. Yukarı ve aşağı hataları farklı cezalandırmak. Aşağı yönlü hatalar sizi daha çok üzüyorsa mantıklı.
Doğrudan portföy metriği. En radikal yaklaşım: modeli, ürettiği portföyün Sharpe oranını en yüksek yapacak şekilde eğitmek. Kulağa doğru geliyor ama aşırı uyuma çok açık.
Bizim tercihimiz
Kompozit skorumuzu hiçbir kayıp fonksiyonuyla optimize etmiyoruz. Ağırlıklar sabit.
Ama tahmin gücünü ölçerken sıra korelasyonu kullanıyoruz. Yani değerlendirme ölçümüz sıralama bazlı.
Bu tutarlı bir tercih: yaptığımız iş sıralama, ölçtüğümüz şey de sıralama.
Eğer kare hatayla değerlendirseydik, farklı sonuçlar çıkardı ve muhtemelen birkaç uç gözlem sonucu belirlerdi.
Optimize edilen şey elde edilir
Bu, sadece modelleme değil, genel bir yönetim ilkesi.
Bir sisteme ne ölçtürüyorsanız, o şeyi elde ediyorsunuz. Ve ölçtüğünüz şey gerçekte istediğinizden farklıysa, sistem sizi istemediğiniz yere götürüyor.
Borsada karşılığı: bir stratejiyi getiriye göre optimize ederseniz, riski yüksek bir strateji elde ediyorsunuz. Sharpe’a göre optimize ederseniz, kuyruk riskini görmezden gelen bir strateji.
Her metriğin bir kör noktası var ve model o kör noktaya doğru büyüyor.
Pratik öneri
Bir model ya da strateji değerlendirirken sorun: bu neyi en iyi yapacak şekilde kurulmuş?
Sonra sorun: benim gerçekte istediğim bu mu?
İkisi arasında fark varsa, modelin sonuçları sizin ihtiyacınıza uymayacak.
Ve mümkünse birden fazla metriğe birden bakın. Tek bir sayıya optimize edilmiş her sistem, o sayının görmediği yerden kırılıyor.
Bizim sonuçları her zaman bir arada sunmamızın sebebi bu: getiri, Sharpe, maksimum düşüş, kazanma oranı, devir hızı. Hiçbiri tek başına yeterli değil.
Sıradaki
Bir sonraki yazıda portföy optimizasyonuna geçiyoruz. Markowitz’in fikri neden matematiksel olarak güzel ama pratikte zor.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.