Wiki›Risk, Getiri ve İstatistik
Örneklem Dışı Test
Örneklem dışı test, bir kuralı ya da modeli kurarken hiç kullanılmamış bir veri diliminde sınamaktır. Kurulan veride iyi görünen sonucun yeni veride de tutup tutmadığını gösterir; aşırı uyuma karşı en doğrudan denetimdir.
Bir aşçı yeni tarifini önce kendi tadına göre ayarlar; tarifin gerçekten iyi olup olmadığını ise onu hiç tatmamış misafirlerin tepkisi gösterir. Örneklem dışı test, kuralı ayarlarken bakılmamış verinin hakemliğidir.
Nasıl işler
Veri tarih sırasıyla ikiye ayrılır. Kurma dönemi (eğitim) kuralın ya da modelin ayarlarını seçmek için kullanılır. Sınama dönemi (test) bu sırada hiç görülmez; ayarlar sabitlendikten sonra yalnız bir kez sınanır. Zaman serisinde bölme hep tarih sırasıyla yapılır: sınama dönemi kurma döneminden sonra gelir, aksi halde gelecek geçmişe sızar.
İleriye doğru sınama (walk-forward) bu bölmeyi kaydırarak tekrarlar. Model belirli uzunlukta bir geçmişle kurulur, ardından gelen kısa dönemde sınanır; pencere ileri kaydırılır, model yeniden kurulur ve bir sonraki dönemde sınanır. Sınama dönemlerinin sonuçları uç uca eklenince, gerçek hayatta adım adım uygulanmış bir sürecin tahmini elde edilir.
Örnek
Üç yıllık geçmişle kurulup ertesi yılda sınanan bir model, her yıl bir adım ilerletilerek:
| Tur | Kurma dönemi | Sınama dönemi | Sınama getirisi |
|---|---|---|---|
| 1 | 1., 2. ve 3. yıl | 4. yıl | Yüzde 8 |
| 2 | 2., 3. ve 4. yıl | 5. yıl | Yüzde −2 |
| 3 | 3., 4. ve 5. yıl | 6. yıl | Yüzde 12 |
Her turda model yalnız kendinden önceki üç yılı görür. Üç sınama yılının bileşik sonucu yaklaşık yüzde 18,5’tir; altı yılın tamamına bakarak seçilmiş ayarlarla elde edilecek sonuçtan daha düşük ama daha gerçekçidir.
Nasıl yorumlanır
- Kurma ve sınama sonucu birbirine yakınsa kural geçmişi ezberlememiş görünür.
- Sınama sonucu belirgin düşükse ayarlar kurma döneminin rastlantılarına uymuş olabilir.
- İleriye doğru sınamada turlar arası tutarlılık tek bir toplam sayıdan daha bilgilendiricidir.
Dikkat
- Sınama dönemi kısaysa birkaç işlem ya da birkaç ay sonucu belirler; iyi ya da kötü sonuç şans olabilir.
- Sınama sonucuna bakıp ayar değiştirmek sınama dönemini kurma dönemine çevirir.
- Piyasa rejimi değiştiyse iyi kurulmuş bir model de sınama döneminde zayıflayabilir; bu her zaman aşırı uyum anlamına gelmez.
Finemar'da bu sayı
Strateji Stüdyosu test dönemini tarih sırasıyla ilk yüzde 70 kurma, son yüzde 30 sınama olarak böler. OPTİMİZE ET ayarları yalnız kurma döneminde seçer ve öneriyi sınama döneminde sınar; tek hisse modundaki Geçmişi Ezberledi mi? kartı iki dönemin sonucunu yan yana koyar. Aynı sekmedeki İleriye Doğru Sınama: Dönem Analizi ve Matris kartı ise ayarları dönem dönem yeniden seçmez; aynı kuralın testini eşit dilimlere bölüp her dilimde getirisini ve al-tut farkını gösterir.
Portföy Optimizatörü’nün Geçmiş Test sekmesindeki Dürüst test (örneklem dışı) gerçek bir ileriye doğru sınamadır. Varsayılan ayarla ağırlıklar her 21 günde son 500 günlük veriyle yeniden hesaplanır ve yalnız sonraki günlere uygulanır; kendi beklentiler kullanılmaz, ağırlık değişimi başına binde 2 işlem maliyeti düşülür. Üç değer Eğitim penceresi, Yeniden dengeleme ve İşlem maliyeti olarak değiştirilebilir. Etki Analizi’nin örneklem dışı açıklama gücü de faktörleri ve modeli verinin ilk yüzde 70’inde kurup son yüzde 30’da sınar.
Derinlemesine
Çapraz doğrulama neden zaman serisinde değişir
Makine öğrenmesinde veri rastgele parçalara bölünüp her parça sırayla test edilir. Fiyat verisinde bu yöntem gelecekteki günleri kurma verisine karıştırır ve ardışık günler arasındaki bağ yüzünden test parçası kurma parçasına sızar. Bu yüzden zaman serisinde test dönemi her zaman kurma döneminden sonra gelir; gerekirse aralarına boşluk bırakılır.
Örneklem dışı açıklama gücü
Bir regresyonun kurulduğu verideki R² değeri her eklenen değişkenle yükselir. Örneklem dışı R², kurulan modelin sınama dönemindeki tahmin hatasını, kurma döneminin ortalamasını tahmin olarak kullanmanın hatasıyla karşılaştırır; eksi çıkabilir. Etki Analizi bu değeri yalnız XU100 ile kurulan modelin aynı testteki değeriyle de karşılaştırır ve seçilen ek faktörlerin piyasanın ötesinde katkı yapıp yapmadığını gösterir.
Rastgele havuzlarda tekrar
Tek bir hisse grubunda yapılan ileriye doğru sınama o gruba bağlıdır. Portföy Optimizatörü’nün Kanıt sekmesi her gece aynı dürüst testi rastgele seçilmiş çok sayıda hisse havuzunda koşar ve her yöntemin eşit ağırlıklı dağıtımı ne sıklıkla yendiğini 1/N yenme sütununda verir.
Bu içerik yatırım tavsiyesi değildir; eğitim ve bilgilendirme amaçlıdır.