Belirtiler
Çok yüksek R-kare. Getiri tahmininde yüzde 90 R-kare gördüğünüzde sevinmeyin, şüphelenin. Bu problem için o kadar yüksek açıklama gücü beklenmez. Ya sızıntı var ya aşırı uyum.
Çok sayıda değişken, az gözlem. Değişken sayısı gözlem sayısına yaklaştıkça, model her şeyi açıklayabilir hale geliyor. Yirmi gözleme on beş değişkenli bir model uyduran biri, gürültü modelliyor.
Değişkenlerin çoğu anlamsız. Modele bir sürü değişken atılmış, birkaçı tesadüfen anlamlı çıkmış. Bu, veri madenciliğinin klasik izi.
Örnek dışı çöküş. En kesin belirti. Model eğitim döneminde harika, test döneminde vasat. Fark ne kadar büyükse, aşırı uyum o kadar ciddi.
Neden mükemmel kötüdür
Gerçek dünya gürültülü. Hisse getirilerinin büyük kısmı öngörülemez.
Bir model bu gürültüyü de açıklıyorsa, öğrendiği şey gerçek ilişki değil, o örneklemin tekrarlanmayacak tesadüfleri.
Yani mükemmel uyum, modelin sinyali değil gürültüyü yakaladığının işareti. Ve gürültü gelecekte tekrarlanmayacağı için, model gelecekte çöküyor.
İyi bir model, geçmişe kusurlu uyar ama geleceğe daha iyi genellenir.
Bizim yaşadığımız
Random forest denememiz tam bu belirtileri gösterdi.
Eğitim döneminde model neredeyse kusursuzdu. Bu, aşırı uyumun ilk işaretiydi ama o zaman fark etmedik.
Örnek dışı 2021 sonrası dönemde Sharpe oranı 1,79’dan 1,23’e düştü. İşte gerçek test buydu ve model çöktü.
Ağaç sayısını, derinliği değiştirdik, sonuç değişmedi. Fikri rafa kaldırdık.
Yerine koyduğumuz basit kompozit, eğitim döneminde random forest kadar iyi görünmüyordu. Ama örnek dışında ondan iyiydi. Kusurlu uyum, daha iyi genelleme.
Serbestlik derecesi
Aşırı uyumun teknik ölçüsü, serbestlik derecesi.
Kabaca: gözlem sayısı eksi tahmin edilen parametre sayısı. Bu sayı küçüldükçe, model daha esnek ve aşırı uyuma daha açık hale geliyor.
Bir regresyonda gözlem sayısına göre çok fazla değişken varsa, serbestlik derecesi az demektir. Ve o modelin sonuçlarına temkinli yaklaşmak gerekiyor.
Nasıl okumalı
Bir regresyon sonucu gördüğünüzde şunları sorun.
R-kare, bu problem için makul mü, yoksa şüpheli derecede yüksek mi?
Kaç değişken, kaç gözlem? Değişken sayısı gözleme göre fazla mı?
Örnek dışı test var mı? Yoksa, sonuç eğitim performansından ibaret olabilir ve bu az şey söyler.
Ve unutmayın: kağıt üstünde ne kadar mükemmel görünürse, o kadar şüpheci olun. İyi görünen sonuç, genelde iyi olan sonuç değildir.
Sıradaki
Sıradaki yazıda panel veriyi ve sabit etki ile rastgele etki ayrımını ele alıyoruz. Aynı veriye iki farklı yöntemle bakmanın neden farklı sonuç verdiğini göreceğiz.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.