Ne yapılıyor
Hiperparametre araması, farklı ayar kombinasyonlarını deneyip en iyi performansı vereni seçiyor.
Izgara araması: bütün kombinasyonları sistematik deniyor. Rastgele arama: kombinasyonları rastgele örnekliyor. Daha gelişmiş yöntemler de var.
Amaç, modelin en iyi çalıştığı ayarları bulmak. Kulağa masum geliyor ama içinde bir tuzak var.
Çoklu test tuzağı
Yüzlerce kombinasyon deneyip en iyisini seçmek, çoklu testin ta kendisi.
Eğer yeterince kombinasyon denerseniz, bazıları tesadüfen iyi performans verir. En iyisini seçtiğinizde, o performans şansın da katkısını içeriyor.
Yani “en iyi hiperparametrelerle skor şu” iddiası, kaç kombinasyon denendiğine bağlı. Bin kombinasyon denenip en iyisi seçildiyse, o skor şişkin.
Bu, deflated Sharpe mantığının makine öğrenmesindeki karşılığı. Deneme sayısı, sonucu şişiriyor.
Neden fark edilmiyor
Hiperparametre araması otomatik yapılıyor ve bir “arama” gibi hissettirmiyor.
Bir algoritma yüzlerce kombinasyonu deniyor ve en iyisini seçiyor. Araştırmacı sadece “en iyi ayarları buldum” diyor. Kaç kombinasyonun denendiği, arka planda kalıyor.
Ama istatistiksel olarak, bu yüzlerce test yapmak demek. Ve en iyi sonucu raporlamak, en iyi test sonucunu raporlamakla aynı.
Doğru yol
Bu tuzaktan kaçınmanın yolu, veriyi üçe bölmek.
Eğitim seti: modeli eğitmek için.
Doğrulama seti: hiperparametreleri seçmek için. En iyi ayarlar burada belirleniyor.
Test seti: sadece bir kez, en sonda bakılıyor. Gerçek performans buradan okunuyor.
Kritik nokta: hiperparametre seçimi doğrulama setinde yapılıyor, test setinde değil. Test seti temiz kalıyor.
Bir çalışma sadece iki bölme (eğitim, test) kullanıp hiperparametreleri test setinde seçtiyse, test seti kirlenmiş demektir. Raporlanan performans iyimser.
Zaman serisinde
Finansta bu bölmeler zaman sıralı olmalı.
Doğrulama seti, eğitimden sonra ama testten önce gelen bir dönem. Test seti, en son dönem.
Çapraz doğrulama yazımızdaki kural burada da geçerli: sıralama korunmalı, boşluk bırakılmalı.
Bizim çözümümüz
Biz bu sorunu kaynağında çözüyoruz: hiperparametre yok.
Kompozit skorumuzda ağırlıklar sabit, teoriden geliyor. Optimize edilecek bir ayar yok.
Bu, tahmin gücünden biraz feragat etmek ama hiperparametre araması kaynaklı çoklu testi tamamen ortadan kaldırıyor. Aramadığınız için, arama kaynaklı şişme de olmuyor.
Random forest denememizde ise hiperparametrelerle uğraştık ve bu, aşırı uyum riskinin bir parçasıydı.
Nasıl okumalı
Bir makine öğrenmesi çalışmasında şunları sorun.
Kaç hiperparametre kombinasyonu denenmiş? Çoksa, en iyi skor şişkin olabilir.
Hiperparametreler nerede seçilmiş? Ayrı bir doğrulama setinde mi, yoksa test setinde mi? İkincisi test setini kirletir.
Test setine sadece bir kez mi bakılmış?
Ve raporlanan skor, en iyi kombinasyonun skoru mu? Öyleyse, deneme sayısını hesaba katan bir düzeltme var mı?
Sıradaki
Sıradaki yazıda kara kutu modellerini yorumlamayı ele alıyoruz. Karmaşık bir modelin ne yaptığını anlamak ne kadar mümkün ve ne zaman gerekli.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.