Çoklu karşılaştırma düzeltmeleri: çok test yapınca eşiği yükseltmek

Sorun

Anlamlılık eşiği 0,05 ise, tek bir testte yüzde 5 yanlış alarm riski var. Kabul edilebilir.

Ama yirmi test yaparsanız, en az bir yanlış alarm görme ihtimaliniz yüzde 64’e çıkıyor. Yüz test yaparsanız neredeyse kesin.

Yani çok sayıda test yapıp anlamlı çıkanları raporlamak, garantili bir yanlış keşif üretme yöntemi. Düzeltme, bunu engelliyor.

Bonferroni

En basit ve en katı düzeltme.

Eşiği, test sayısına bölüyorsunuz. Yirmi test yaptıysanız ve 0,05 eşiği istiyorsanız, her testin 0,0025 eşiğini geçmesi gerekiyor.

Basit ve garantili ama çok muhafazakâr. Gerçek etkileri de eleyebiliyor. Çok sayıda testte, Bonferroni neredeyse hiçbir şeyi anlamlı bırakmıyor.

Harvey, Liu ve Zhu’nun faktörler için önerdiği t > 3 eşiği, bu mantığın bir uygulaması: çok sayıda faktör test edildiği için, eşiği yükseltmek.

FDR (yanlış keşif oranı)

Bonferroni’den daha esnek bir yaklaşım.

Bonferroni, “hiç yanlış alarm olmasın” diyor. FDR, “yanlış alarmların oranı kontrol altında olsun” diyor.

Yani yüz keşiften beşinin yanlış olmasına razı oluyorsunuz, ama daha fazlasına değil. Bu, gerçek etkileri elemeden yanlış keşifleri sınırlıyor.

FDR, çok sayıda testin olduğu ama bir kısmının gerçek olduğu durumlarda daha kullanışlı. Genetik çalışmalarından finansa kadar yaygınlaşıyor.

Neden bilmek önemli

Bir çalışma “elli değişkeni test ettik, şu beşi anlamlı çıktı” diyorsa, düzeltme yapılıp yapılmadığı kritik.

Düzeltme yapılmamışsa, o beş “anlamlı” değişkenin bir kısmı tesadüf olabilir. Elli testte, eşik 0,05 ise, ortalama iki-üç tanesi zaten tesadüfen anlamlı çıkacaktı.

Düzeltme yapılmışsa (Bonferroni ya da FDR), o beş değişken daha güvenilir. Katı eşiği geçtiler.

Deflated Sharpe

Finansta bu mantığın strateji tarafındaki karşılığı, deflated Sharpe ratio.

Bailey ve López de Prado’nun geliştirdiği bu yöntem, kaç strateji varyasyonu denendiğini hesaba katıyor. Çok sayıda deneme yapıldığında, en iyi Sharpe oranı doğal olarak şişkin olur; deflated Sharpe bu şişkinliği düzeltiyor.

Yani “en iyi stratejimizin Sharpe’ı 2,0” iddiası, kaç strateji denendiğine bağlı. Bin strateji denenip en iyisi seçildiyse, o 2,0 tesadüf olabilir. Deflated Sharpe bunu ölçüyor.

Nasıl okumalı

Bir çalışma çok sayıda değişken ya da strateji test etmişse, düzeltme yapılıp yapılmadığını sorun.

Bonferroni ya da FDR düzeltmesi var mı? Yoksa, “anlamlı” bulguların bir kısmı tesadüf olabilir.

Strateji performansında deflated Sharpe ya da benzeri bir düzeltme var mı?

Ve en önemlisi: kaç test yapıldığını sorun. Bu sayı olmadan, hiçbir “anlamlı” sonuç doğru değerlendirilemez.

Kaynaklar

• Harvey, Liu & Zhu, …and the Cross-Section of Expected Returns
• Bailey & López de Prado, The Deflated Sharpe Ratio

Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.