Basit model benchmark’ı
Her karmaşık model, basit bir alternatifle karşılaştırılmalı.
Bir sınıflandırma modeli, “her zaman çoğunluk sınıfını tahmin et” kuralını yeniyor mu?
Bir getiri tahmin modeli, eşit ağırlıklı bir kompoziti yeniyor mu?
Bir zaman serisi modeli, “yarın bugünle aynı olacak” tahminini yeniyor mu?
Bu basit kurallar, karşılaştırma noktası. Karmaşık model bunları anlamlı biçimde yenmiyorsa, karmaşıklığın değeri yok.
Neden atlanır
Basit benchmark, sık atlanıyor çünkü sıkıcı ve iddiayı zayıflatıyor.
“Derin öğrenme modelimiz yüzde 55 isabet” kulağa iyi geliyor. Ama taban oran yüzde 53 ise, model neredeyse hiçbir şey katmamış.
Basit benchmark, bu gerçeği ortaya çıkarıyor. Bu yüzden etkileyici bir sonuç sunmak isteyen biri, onu göstermek istemiyor.
Bir çalışmada basit benchmark yoksa, kendiniz kabaca hesaplayın: taban oran ne, en basit kural ne yapardı?
Basitliğin gücü
Finansta basit modeller, karmaşık olanları şaşırtıcı sıklıkla yeniyor.
Sebebi, düşük sinyal gürültü oranı. Karmaşık modeller, açıklayacak gerçek bir şey azken gürültüye uyuyor. Basit modeller bu tuzağa düşmüyor.
Bizim deneyimimiz: eşit ağırlıklı kompozit, random forest’ı örnek dışında yendi. Ağırlıkları fit etmeyen basit yapı, öğrenen karmaşık yapıdan daha iyiydi.
Bu, tesadüf değil. Az veri, zayıf sinyal ortamında basitlik bir avantaj. Robert Haugen ve başkaları, basit eşit ağırlıklı kompozitlerin optimize edilmiş modellerden daha dayanıklı olduğunu yıllar önce göstermişti.
Ne zaman karmaşıklık gerekir
Karmaşıklık her zaman gereksiz değil. Bazı koşullarda değer katıyor.
Bol bağımsız gözlem. Binlerce, on binlerce gerçek bağımsız birim.
Yüksek sinyal gürültü oranı. Açıklanacak gerçek ve güçlü bir yapı.
Gerçek doğrusal olmayan etkileşimler. Basit modelin yakalayamayacağı, teorik olarak beklenen karmaşık ilişkiler.
Bu üçü birden varsa, karmaşık model basit olanı yenebilir. Aylık hisse seçiminde bu koşullar genelde yok.
Occam ilkesi
Bunun arkasında eski bir ilke var: iki açıklama benzer işi görüyorsa, basit olanı tercih et.
Modellemede karşılığı: iki model benzer performans veriyorsa, basit olanı seç. Çünkü basit model, örnek dışında daha dayanıklı ve yorumlanabilir.
Karmaşıklık, ancak açık ve anlamlı bir performans artışı sağlıyorsa haklı. “Belki biraz daha iyidir” yeterli değil.
Nasıl okumalı
Bir model iddiası gördüğünüzde, ilk soru: basit bir benchmark’la karşılaştırılmış mı?
Taban oran ne? Model onu anlamlı biçimde geçiyor mu?
Eşit ağırlıklı ya da naif bir alternatif ne yapardı?
Karmaşık model, basit olanı örnek dışında ve anlamlı biçimde yeniyor mu?
Benchmark yoksa, iddia eksik. Ve genel kural: karmaşıklık, basit modeli açıkça yenmedikçe gereksizdir.
Bu, sadece model değerlendirme değil, bir düşünce disiplini. Her karmaşık çözümden önce, basit olanın ne yapacağını sorun.
Sıradaki
Sıradaki yazıyla son bölüme, pratik sentez ve yorumlama bölümüne geçiyoruz. İlk konu, bir strateji sunumundaki kırmızı bayrakları tanımak.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.