Wiki›Risk, Getiri ve İstatistik
Aşırı Uyum
Aşırı uyum, bir kuralın ya da modelin ayarları geçmiş veriye bakılarak o kadar ince ayarlanır ki, geçmişin kalıcı düzenini değil tesadüfi gürültüsünü öğrenmesidir. Geçmişte parlayan sonuç, görülmemiş veride dağılır.
Sınavdan önce yalnız geçen yılın sorularının cevaplarını ezberleyen öğrenci, aynı sorular gelirse tam puan alır; sorular değişince bildiği hiçbir şey işe yaramaz. Aşırı uyum aynı ezberin modeldeki karşılığıdır: kural geçmişin sorularına göre ayarlanmıştır, konuyu öğrenmemiştir.
Nasıl işler
Fiyat geçmişinde kalıcı düzenlerin yanında tekrarlanmayacak rastlantılar da bulunur. Bir kuralın ayarları geçmiş sonuca bakılarak değiştirildikçe ayarlar, rastlantıları da yakalayacak biçimde şekillenir. Her yeni parametre ve her yeni deneme bu olasılığı artırır.
Sorun, denenen seçeneklerin en iyisinin seçilmesinden doğar. Yüz rastgele kural geçmişte denenirse bazıları yalnız şans eseri iyi sonuç verir; en iyisini seçmek, en şanslısını seçmek anlamına gelebilir. Kurmada kullanılan veride sonuç her denemeyle iyileşir, hiç görülmemiş veride ise bir noktadan sonra kötüleşir.
Örnek
Bir alım kuralının ayarları verinin ilk yüzde 70’inde aranıyor, seçilen ayar son yüzde 30’da sınanıyor. Yıllık getiriler:
| Denenen ayar sayısı | Kurma döneminde en iyi sonuç | Aynı ayarın sınama döneminde sonucu |
|---|---|---|
| 1 | Yüzde 12 | Yüzde 10 |
| 20 | Yüzde 25 | Yüzde 8 |
| 500 | Yüzde 48 | Yüzde 2 |
Deneme sayısı arttıkça kurma dönemindeki en iyi sonuç yükselir, sınama dönemindeki karşılığı düşer. 500 ayar arasında seçilen yüzde 48, kuralın gücünden çok aramanın genişliğini ölçer.
Nasıl yorumlanır
- Parametre çok, işlem azsa aşırı uyum olasılığı yüksektir; her parametre birkaç işlemi açıklamak için kullanılmış olabilir.
- Sonuç ayarın küçük bir değişimiyle çöküyorsa kural tek bir şanslı noktaya oturmuştur. Sağlam bir ayar geniş bir düzlükte durur.
- Kurma ve sınama dönemi arasındaki fark en doğrudan işarettir.
- Kuralın bir gerekçesi yoksa, örneğin eşik “RSI 31,7” gibi tuhaf bir değerdeyse, sayı veriden çıkmıştır, mantıktan değil.
Dikkat
- Sınama dönemine bakıp ayar yeniden değiştirilirse sınama dönemi de kurmanın parçası olur; bir kez kullanılan sınama verisi artık tarafsız değildir.
- Az sayıda parametre de çok sayıda denenirse aşırı uyum doğar; önemli olan toplam deneme sayısıdır.
- Aşırı sadelik de bir hatadır: hiçbir düzeni yakalamayan kural da işe yaramaz.
Finemar'da bu sayı
Strateji Stüdyosu’nda OPTİMİZE ET parametreleri ve çıkış ayarlarını yalnız verinin ilk yüzde 70’inde, seçilen ölçüte (Sharpe, CAGR ya da Calmar) göre tarar. 8’den az işlem üreten ayar ve giriş sinyalini neredeyse her güne yayan ayar elenir. Öneri, hiç görülmemiş son yüzde 30’da mevcut ayardan belirgin biçimde kötüyse Optimizatör kartında otomatik olarak reddedilir.
Tek hisse modunda Sağlamlık sekmesinin Geçmişi Ezberledi mi? kartı aynı bölmeyle kurma ve sınama dönemini yan yana koyar. Sınama dönemindeki yıllık getiri kurma döneminin en az yüzde 70’iyse strateji ezberlememiş görünür; pozitif ama belirgin gerideyse fazla uymuş olabilir; eksideyse kurma dönemindeki başarı büyük ihtimalle aşırı uyumdur. Sınama döneminde 5’ten az işlem varsa karar verilmez. Parametre Duyarlılığı her parametreyi mevcut değerin yüzde 50 altı ile yüzde 50 üstü arasında dokuz noktada, Parametre Permütasyon Dağılımı (Walton) bütün parametreleri birlikte yüzde 30’a kadar oynatarak yeniden test eder.
Derinlemesine
Yanlılık ve değişkenlik
Basit bir model geçmişin bir kısmını açıklayamaz ama yeni veride benzer davranır; karmaşık bir model geçmişi neredeyse kusursuz açıklar ama yeni veride sonuçları savrulur. İyi model ikisi arasındaki dengeyi arar. Borsa verisinde gürültü düzene göre çok büyük olduğu için denge genellikle sade modellerden yana kurulur.
Tahmin hatasına uyum
Aşırı uyum yalnız alım kurallarında görülmez. Portföy ağırlıkları geçmiş getiri ortalamalarına göre en iyileştirildiğinde, ortalamalardaki tahmin hatası da en iyileştirilir ve ağırlıklar birkaç hisseye yığılır. Portföy Optimizatörü’nün Bayes-Stein μ büzülmesi, Kovaryans denoising ve Resampled (stabil) ağırlık seçenekleri bu hatayı yumuşatmak için tahminleri ortalamaya doğru çeker ya da gürültüyü ayıklar.
Büzülme
Az gözleme dayanan bir sonucu sıfıra doğru çekmek aşırı uyuma karşı basit bir sigortadır. Koşul Analizi’nin Aktif Durumlar tablosunda bir durumun getiri farkı, olay sayısı arttıkça daha az küçültülür: 25 olayla bulunan fark yarıya iner, 225 olayla bulunan fark yüzde 90’ını korur.
Bu içerik yatırım tavsiyesi değildir; eğitim ve bilgilendirme amaçlıdır.