Fikir
Normalde bir model, geçmiş veriye en iyi uyan parametreleri arıyor.
Düzenlileştirme buna bir ceza ekliyor: parametreler büyüdükçe modelin skoru düşüyor.
Yani model artık iki şeyi birden dengelemek zorunda. Veriye iyi uymak ve sade kalmak.
Sonuç olarak, veriye biraz daha kötü uyan ama daha sade bir model çıkıyor. Ve o model örnek dışında genelde daha iyi çalışıyor.
Grafiğin anlattığı
Ceza sıfırken model veriye mükemmel uyuyor. Eğitim hatası düşük ama örnek dışı hata yüksek. Bu aşırı uyum.
Ceza arttıkça eğitim hatası yükseliyor ama örnek dışı hata önce düşüyor. Model gürültüye uymayı bırakıyor.
Bir noktadan sonra ceza çok yüksek oluyor ve model gerçek sinyali de kaçırmaya başlıyor. Örnek dışı hata tekrar yükseliyor.
En iyi nokta ortada. Ve o noktayı bulmak, düzenlileştirmenin asıl zorluğu.
Türleri
Katsayıları küçültme. En yaygın hali. Bütün parametreleri sıfıra doğru çekiyor ama hiçbirini tam sıfır yapmıyor.
Katsayı eleme. Bazı parametreleri tamamen sıfırlıyor. Yani otomatik özellik seçimi yapıyor. Çok sayıda aday özelliğiniz varsa faydalı.
Erken durdurma. Eğitimi model tam uyum sağlamadan durdurmak. Basit ama etkili.
Gürültü eklemek. Eğitim verisine kasten küçük gürültü ekleyerek modelin ezberlememesini sağlamak.
Bizim yaklaşımımız: en uç hali
Kompozit skorumuzda ağırlıklar veriden hiç öğrenilmiyor. Hepsi eşit ve işaretler teoriden geliyor.
Bu, düzenlileştirmenin en uç hali sayılabilir: cezayı o kadar yükseğe koymuşsunuz ki hiçbir parametre veriden öğrenilmiyor.
Neden bu kadar uca gittik? Çünkü gerçek bağımsız gözlem sayımız birkaç yüz seviyesinde. Bu ortamda ağırlık öğrenmek, gürültü öğrenmek demek.
Sonuç bunu destekledi. Random forest 1,79’dan 1,23’e düşerken, hiç fit edilmemiş kompozit her dönemde iyileşme sağladı.
Ne zaman fit etmeli
Adil olalım, ağırlık öğrenmek her zaman kötü değil.
Bol veriniz varsa, özellikleriniz arasında gerçek önem farkı varsa ve doğru düzenlileştirme uyguluyorsanız, öğrenilmiş ağırlıklar daha iyi olabilir.
Gu, Kelly ve Xiu’nun çalışması bunun kanıtı. Onlar 30 binden fazla hisse ve altmış yıllık veriyle çalışıyor ve öğrenmek işe yarıyor.
Fark ölçekte. Bizim ölçeğimizde öğrenmemek, onların ölçeğinde öğrenmek doğru.
Ceza miktarını nasıl seçersiniz
İşin ironik tarafı: düzenlileştirme miktarını seçmek de bir parametre seçimi.
Ve o parametreyi test verisine bakarak seçerseniz, kaçındığınız soruna geri dönüyorsunuz.
Doğru yol, ayrı bir doğrulama seti kullanmak. Veriyi üçe bölüyorsunuz: eğitim, doğrulama, test. Ceza miktarını doğrulama setinde seçiyor, test setine sadece bir kez bakıyorsunuz.
Zaman serisinde bu bölmelerin sıralı olması gerekiyor. Çapraz doğrulama yazımızda anlattığımız kural burada da geçerli.
Genel prensip
Düzenlileştirmenin arkasındaki fikir aslında istatistiğin ötesinde.
Elinizde belirsiz kanıt varken, kanıta tam olarak uymak yerine ihtiyatlı bir konumda kalmak.
Bu, Bayes düşüncesindeki öncel inanç fikriyle aynı şey. Zayıf kanıtla güçlü öncelinizi değiştirmemek, düzenlileştirmenin ta kendisi.
Ve pratik hayatta da geçerli: az veriyle güçlü sonuç çıkarmamak, sonuçlarınızı ihtiyatlı tutmak.
Sıradaki
Bir sonraki yazıda boyut lanetini ele alıyoruz. Neden çok sayıda özellik eklemek modeli iyileştirmiyor, aksine bozuyor.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.