Kara kutu modeller: anlamadığınız bir şeye güvenmek

Kara kutu ne

Basit bir model şeffaftır: hangi girdinin sonucu nasıl etkilediğini görebilirsiniz. Bir regresyonun katsayıları ya da bizim kompozit skorumuzun faktörleri gibi.

Kara kutu model ise iç işleyişi anlaşılmaz. Sinir ağları, karmaşık ağaç toplulukları. Milyonlarca parametre, doğrusal olmayan etkileşimler. Ne öğrendiğini doğrudan okuyamıyorsunuz.

SHAP ve özellik önemi gibi araçlar, kara kutuya biraz ışık tutuyor ama tam şeffaflık sağlamıyor.

Şeffaflık neden önemli

Yorumlanabilirlik, birkaç açıdan değerli.

Güven. Modelin neden bir karar verdiğini anlarsanız, o karara güvenmeniz kolaylaşıyor. Anlamadığınız bir modele para emanet etmek zor.

Hata tespiti. Şeffaf bir modelde, mantıksız bir davranışı fark edebilirsiniz. Kara kutuda, model yanlış bir şey öğrenmişse bunu görmek zor.

Sızıntı tespiti. Model beklenmedik bir değişkene dayanıyorsa, bu sızıntı işareti olabilir. Şeffaf modelde bunu görürsünüz, kara kutuda kaçırabilirsiniz.

Dayanıklılık. Neden çalıştığını anladığınız bir model, rejim değiştiğinde nasıl davranacağı hakkında fikir verir.

Performans-yorumlanabilirlik takası

Yaygın bir varsayım: karmaşık kara kutu modeller daha iyi performans verir, basit şeffaf modeller daha zayıf ama anlaşılır.

Finansta bu takas genelde geçerli değil.

Düşük sinyal gürültü oranı yüzünden, karmaşık modeller ek performans üretmek yerine gürültüye uyuyor. Gu, Kelly ve Xiu’nun bulduğu baskın sinyaller, basit yöntemlerle de yakalanabiliyor.

Yani finansta, kara kutuya geçmenin performans faydası genelde küçük ya da negatif. Yorumlanabilirlik feragati, karşılığını vermiyor.

Bizim tercihimiz

Biz bilinçli olarak şeffaf model kullanıyoruz.

Kompozit skorumuz, birkaç faktörün teori yönünde toplamı. Bir hissenin neden yüksek skor aldığını doğrudan görebiliyoruz.

Random forest’ı denedik ve hem çöktü hem de yorumlanamazdı. Basit kompozit hem daha iyi hem de şeffaf.

Bu, finansta yaygın bir sonuç: kara kutunun vaat ettiği performans, genelde gerçekleşmiyor ve yorumlanabilirlik kaybı boşuna oluyor.

Ne zaman kara kutu

Kara kutu her zaman kötü değil. Bazı durumlarda gerekli.

Gerçek doğrusal olmayan etkileşimlerin olduğu, bol veri bulunan, sinyalin güçlü olduğu problemlerde kara kutu değer katabiliyor. Görüntü tanıma, dil işleme gibi.

Ama aylık hisse seçiminde bu koşullar yok. Az veri, zayıf sinyal, belirsiz etkileşimler. Bu ortamda kara kutu, çözümden çok sorun.

Nasıl okumalı

Bir kara kutu model iddiası gördüğünüzde şunları sorun.

Basit bir modele karşı karşılaştırılmış mı? Kara kutu, basit modeli anlamlı biçimde yeniyor mu?

Model ne öğrendiği açıklanabiliyor mu (SHAP, özellik önemi)? Ve öğrendiği şey mantıklı mı?

Sızıntı ihtimali kontrol edilmiş mi? Kara kutuda sızıntıyı fark etmek zor.

Ve karmaşıklığın bedeli (yorumlanamazlık, aşırı uyum riski) karşılığını veriyor mu?

Genel kural: kara kutu, basit bir modeli anlamlı biçimde yenmiyorsa, karmaşıklık gereksiz.

Sıradaki

Sıradaki yazıda aşırı uyumun makine öğrenmesi çıktısında bıraktığı izleri ele alıyoruz. Bir modelin gürültüyü ezberlediğini nasıl anlarız.

Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.