Kaç deneme yaptığınızı hesaba katan bir performans ölçüsü

Temel fikir

Deneme sayısı arttıkça, “anlamlı” saymak için gereken eşik de yükselmeli.

Tek bir test yapıyorsanız normal eşik yeterli.

Yirmi test yapıyorsanız, çok daha katı bir eşik gerekiyor. Çünkü tesadüfen iyi sonuç bulma ihtimaliniz yirmi katına çıktı.

En basit düzeltme, eşiği deneme sayısına bölmek. Yani 0,05 eşiğiniz varsa ve yirmi test yaptıysanız, yeni eşiğiniz 0,0025.

Bu kaba ama etkili. Ve bazı bulguları eleyecek kadar katı.

Sharpe oranına uygulanması

Aynı fikir Sharpe oranına da uygulanıyor.

Deneme sayısını hesaba katan bir düzeltilmiş Sharpe hesaplamak mümkün. Kaç varyasyon denendiğini, örneklem uzunluğunu ve getirilerin çarpıklık ve basıklığını hesaba katıyor.

Sonuç genelde şu oluyor: kağıt üstünde etkileyici görünen Sharpe değerleri, deneme sayısı dahil edildiğinde anlamlılığını kaybediyor.

Bu hesabın en önemli mesajı, sayının kendisi değil: hiç kimse gerçekte kaç deneme yaptığını doğru raporlamıyor.

Asıl sorun: deneme sayısı bilinmiyor

Düzeltme yapabilmek için kaç test yapıldığını bilmeniz gerekiyor.

Kendi çalışmanızda sayabilirsiniz. Ama başkasının sunduğu bir stratejide bilemezsiniz.

Ve daha kötüsü: akademik literatürde toplam deneme sayısı hiç bilinmiyor. Aynı veri seti üzerinde onlarca yıldır binlerce araştırmacı çalışıyor.

Yayınlanmış bir bulgu için doğru düzeltme faktörü nedir? Cevap yok.

Bu yüzden bazı araştırmacılar finansta çok daha katı eşikler öneriyor. Gerekçe: bu kadar çok test yapılan bir alanda, alışılmış eşik yanlış keşifleri elemiyor.

Pratik yaklaşımlar

Kendi denemelerinizi sayın ve yazın. Basit ama neredeyse hiç yapılmıyor.

Tutmayan fikirleri de yayınlayın. Biz bunu yapıyoruz: rejim filtresi, makine öğrenmesi, devir azaltma, strateji birleştirme. Hepsi yazılı.

Bu, okuyucunun kendi düzeltmesini yapabilmesi için gereken bilgi.

Bağımsız tekrarlama arayın. En güçlü savunma bu. Bir bulgu başka bir veri setinde, başka bir dönemde de tutuyorsa, çoklu test açıklaması zayıflıyor.

52 haftalık zirve anomalisinin 20 piyasada tekrarlanması, tek bir düşük p-değerinden çok daha ikna edici. Anomali tekrarlama yazımızda bunu ele almıştık.

Optimize edilecek parametre bırakmayın. Bizim çözümümüz. Ağırlıkları fit etmiyoruz, dolayısıyla üzerinde çoklu test yapılabilecek bir şey yok.

Kendi bulgularımız için ne demek

Dürüst olalım: biz de çok sayıda fikir denedik.

Faktör ekledik çıkardık. Farklı ağırlıklandırmalar denedik. Pencere uzunluklarına baktık.

Yayınladığımız sonuçlar bu denemelerin içinden çıkanlar. Ve bir düzeltme uygulanmadı.

Bunu telafi etmek için yaptığımız şeyler: bulguları üç dönemde birden göstermek, tutmayan fikirleri de yazmak, ağırlıkları fit etmemek ve literatürle karşılaştırmak.

Ama bunlar tam bir düzeltmenin yerini tutmuyor. Sonuçlarımızın gerçek etkiden bir miktar yüksek olması beklenir.

Bunu söylemek, sonuçları geçersiz kılmıyor. Okuyucunun onları doğru tartabilmesini sağlıyor.

Okuyucu olarak

Bir strateji sunumu gördüğünüzde tek bir soru neredeyse yeterli:

Bu sonuca varmadan önce kaç fikir denendi?

Cevap yoksa, gördüğünüz sayıya olduğundan daha az güvenin.

Ve şu soruyu ekleyin: bu bulgu keşfedildikten sonra da çalıştı mı? Keşif sonrası performans, çoklu testten arınmış tek kanıttır.

Sıradaki

Bir sonraki yazıda rejim değişimini ele alıyoruz. Piyasa kuralları zaman içinde değişiyorsa, geçmişten öğrenmek ne kadar anlamlı.

Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.