Aritmetik
Diyelim hiçbir gerçek etkisi olmayan bir kuralı test ediyorsunuz. Anlamlılık eşiğiniz 0,05.
Bu, kural işe yaramasa bile yüzde 5 ihtimalle “anlamlı” sonuç çıkacağı anlamına geliyor.
Bir test yaparsanız sorun yok. Yüzde 5 yanılma riski kabul edilebilir.
Ama yirmi test yaparsanız, hiçbiri gerçek olmasa bile ortalama bir tanesi anlamlı çıkacak. Yüz test yaparsanız beş tanesi.
Ve siz sadece o anlamlı çıkanı görüyorsunuz. Diğerlerini unutuyorsunuz ya da hiç raporlamıyorsunuz.
Farkında olmadan yapıyorsunuz
En sinsi tarafı bu. Kimse “yirmi test yapıp en iyisini seçeyim” diye başlamıyor.
Şöyle oluyor:
Bir hareketli ortalama kuralı deniyorsunuz. 20 günlük iyi değil. 50 deneyelim. O da olmadı, 200 deneyelim. Biraz daha iyi. Peki 150? Aha, işte bu.
Dört test yaptınız. Ama zihninizde bu, “bir kural buldum” olarak kaydediliyor.
Ya da: bir stratejiyi 2015’ten test ediyorsunuz, sonuç vasat. 2018’den başlatıyorsunuz, sonuç güzel. O tarihi kullanıyorsunuz.
Ya da: on farklı gösterge deniyorsunuz, biri tutuyor, onu anlatıyorsunuz.
Hepsi çoklu test. Ve hiçbirinde hile yaptığınızı hissetmiyorsunuz.
Literatürde de aynı sorun var
Bu sadece bireysel bir hata değil. Akademik literatürün tamamını etkiliyor.
Aynı ABD veri seti üzerinde onlarca yıldır binlerce araştırmacı çalışıyor. Herkes kendi testinin p-değerini hesaplıyor.
Ama toplamda kaç test yapıldı? Kimse bilmiyor. Ve yayınlananlar, anlamlı çıkanlar. Anlamsız çıkanlar çekmecelerde kaldı.
Buna yayın yanlılığı deniyor. Sonucu şu: yayınlanmış bulgular, gerçek etkilerini abartıyor.
Bu, finansta yayınlanmış yüzlerce faktörün ne kadarının gerçek olduğu tartışmasının kaynağı. Bazı araştırmacılar, deneme sayısı hesaba katıldığında bu faktörlerin önemli bir kısmının ayakta kalmadığını savunuyor. Ve daha katı istatistiksel eşikler öneriyorlar.
Teknik analiz literatürünün en kapsamlı derlemesi olan Park ve Irwin çalışması da bu noktayı vurguluyor: veri tarama, o literatürün en yaygın sorunu.
Yayın sonrası zayıflama
Bir anomali yayınlandıktan sonra etkisinin zayıflaması, iyi belgelenmiş bir kalıp.
İki sebebi var ve ikincisi tam olarak bu konu.
Birincisi arbitraj: insanlar öğreniyor, uyguluyor, etki kapanıyor.
İkincisi ortalamaya dönüş: yayınlanan çalışma, denenmiş yüzlerce varyasyondan en iyi sonuç verenidir. En iyi sonuç, doğal olarak şansın da katkısını içerir. Sonraki dönemde şans payı kaybolur ve geriye gerçek etki kalır.
Yani bir bulgu, yayınlandığı andaki büyüklüğünde neredeyse hiç kalmıyor. Bu, kötü niyetten değil, matematikten kaynaklanıyor.
Bizim yaşadıklarımız
Bunu kendi çalışmalarımızda bizzat yaşadık.
Parametre denemeye başladığınızda sonuç iyileşiyor ve bu iyileşmenin ne kadarının gerçek olduğunu anlamak neredeyse imkansız.
Bu yüzden birkaç kural koyduk.
Ağırlıkları fit etmiyoruz. Kompozit skorumuzdaki faktör ağırlıkları eşit ve işaretleri teoriden geliyor. Optimize edilecek bir parametre olmayınca, çoklu test yapma imkanı da olmuyor.
Bulguları üç dönemde birden gösteriyoruz. 2012 sonrası, 2018 sonrası, 2021 sonrası. Üçünde de aynı yöne bakmayan bir sonucu bulgu saymıyoruz.
Tutmayan fikirleri de yayınlıyoruz. Rejim filtresi tutmadı. Makine öğrenmesi tutmadı. Devir azaltma tutmadı. Strateji birleştirme marjinal kaldı. Hepsi yazılı.
Bu sonuncusu en önemlisi. Kaç fikir denendiğini bilmeden hiçbir bulgu doğru değerlendirilemez. Sadece tutanları anlatmak, okuyucuyu yanıltmanın en kolay yolu.
Nasıl korunulur
Deneme sayınızı sayın. Kaç varyasyon denediğinizi yazın. Sayı büyükse, bulduğunuz sonuca daha az güvenin.
Hipotezinizi önce yazın. Veriye bakmadan önce ne aradığınızı belirleyin. Veriye bakıp sonra hipotez kurmak, çoklu testin en saf hali.
Veriyi ayırın. Bir kısmında fikir geliştirin, diğerinde test edin. Test kısmına sadece bir kez bakın. Birden fazla kez bakarsanız, o da eğitim verisine dönüşür.
Bağımsız tekrarlama arayın. Bulgunuz başka bir dönemde, başka bir piyasada da tutuyor mu? Bu, tek bir düşük p-değerinden çok daha güçlü.
Mekanizma arayın. Neden çalıştığına dair test edilebilir bir açıklamanız var mı? Açıklaması olmayan bir düzen, muhtemelen tesadüf.
Okuyucu olarak ne sormalı
Bir strateji sunumu gördüğünüzde iki soru yeterli.
Kaç farklı varyasyon denendi?
Bu bulgu keşfedildikten sonra da çalıştı mı?
İkincisi çok güçlü bir test. Keşif öncesi dönem, bulguyu üreten dönemdir. Kendisini üreten veriyle test edilmiş bir kural aslında hiç test edilmemiştir.
Sıradaki
Bir sonraki yazıda aşırı uyuma geçiyoruz. Çoklu testin kardeşi: modelin geçmişi ezberlemesi ve gelecekte çuvallaması.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.