Neden şüpheci olmalı
Makine öğrenmesi, aşırı uyum ve sızıntıya çok açık. Ve finansta bu risk, düşük sinyal gürültü oranı yüzünden daha da büyük.
Bir ML modeli, eğitim verisinde neredeyse her zaman etkileyici görünüyor. Asıl soru, gerçek gelecekte ne yaptığı. Ve iki performans arasındaki fark genelde büyük.
Ayrıca ML çıktıları teknik ve etkileyici görünüyor. Bu, olduğundan fazla güven veriyor. Karmaşık bir model, basit bir modelden daha “akıllı” sanılıyor, ki bu genelde doğru değil.
Sorulacak sorular
Örnek dışı test var mı, gerçek mi? Zaman sıralı, tek seferlik test. Rastgele bölmeli çapraz doğrulama sızıntı üretir.
Basit modele karşı karşılaştırılmış mı? ML modeli, eşit ağırlıklı bir kompoziti ya da basit bir kuralı örnek dışında yeniyor mu? Yenemiyorsa, karmaşıklık boşuna.
İşlem maliyeti dahil mi? ML modelleri genelde yüksek devirli. Maliyet sonrası performans çok farklı olabilir.
Kaç model konfigürasyonu denenmiş? Yüzlerce hiperparametre kombinasyonu denenip en iyisi seçildiyse, performans şişkin.
Sızıntı testi yapılmış mı? Rastgele karıştırılmış hedefle test edilmiş mi?
Bu soruların çoğu cevapsızsa, iddiaya güvenmeyin.
Gu, Kelly, Xiu dersi
Finansın en ciddi ML makalesi, Gu, Kelly ve Xiu’nun çalışması, doğru yapıldığında ML’in değer katabileceğini gösterdi. Ama koşulları vardı.
Devasa veri: 30 binden fazla hisse, altmış yıl. Titiz örnek dışı test. Ve baskın sinyallerin momentum, likidite, volatilite olduğu bulgusu.
Yani ciddi bir ML sonucu bile, egzotik keşifler değil, bilinen faktörlerin daha iyi birleştirilmesi. Ve devasa veri gerektiriyor.
Bir ML iddiası bu koşulları taşımıyorsa (küçük veri, egzotik keşif iddiası, zayıf test), şüpheci olun.
Türkiye ölçeği
Türkiye’de ML iddialarına özellikle temkinli yaklaşmak gerekiyor.
Beş yüz civarı hisse ve sınırlı geçmiş. Gerçek bağımsız gözlem sayısı, esnek bir model için çok az. Bizim random forest denememizin çökmesinin ana sebebi buydu.
Yani “yapay zekayla BIST’i yendik” iddiası, ölçek sorunuyla çelişiyor. Bu ölçekte, ML’in basit modeli anlamlı biçimde yenmesi zor.
Pazarlama dili
ML iddiaları sık sık pazarlama diliyle sunuluyor.
“Derin öğrenme”, “yapay zeka”, “sinir ağı” gibi terimler, teknik ağırlık hissi veriyor. Ama bu terimler, sonucun geçerli olduğunu göstermiyor.
Asıl soru terimler değil, yukarıdaki metodolojik kontroller. Etkileyici bir teknik isim, zayıf bir örnek dışı testi kurtarmıyor.
Nasıl okumalı
Bir ML performans iddiası gördüğünüzde şu soruları sorun.
Gerçek, zaman sıralı örnek dışı test var mı?
Basit bir modele karşı karşılaştırılmış ve onu yeniyor mu?
İşlem maliyeti dahil mi?
Kaç konfigürasyon denenmiş?
Sızıntı testi yapılmış mı?
Ve veri ölçeği, kullanılan modelin karmaşıklığına uygun mu?
Bu soruların çoğu olumlu cevaplanmıyorsa, ne kadar etkileyici görünürse görünsün, iddiaya temkinli yaklaşın.
Sıradaki
Sıradaki yazıda basit bir modelin ne zaman yeterli olduğunu ele alıyoruz. Karmaşıklığa geçmeden önce her zaman kurulması gereken karşılaştırma noktası.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.