Anlamlılık avcılığı: bir sonucu eşiği geçirmenin sinsi yolları

Ne demek

p-hacking, veriyi ya da analizi, sonuç anlamlı çıkana kadar ayarlamak.

Genelde bilinçli bir sahtekârlık değil. Araştırmacı bir sürü küçük karar veriyor ve her birinde “daha iyi görünen” seçeneği seçiyor. Toplamda, sonuç yapay olarak anlamlı hale geliyor.

Sorun şu: bu esneklik o kadar çok ki, neredeyse her veriden anlamlı bir sonuç çıkarılabiliyor.

Yöntemleri

Değişken avı. Yirmi değişken test edip anlamlı çıkanı raporlamak. Çoklu test tuzağı.

Dönem avı. Başlangıç tarihini sonuç güzelleşene kadar değiştirmek. Seçim yanlılığı.

Örneklem avı. Rahatsız edici gözlemleri “aykırı” diye çıkarmak.

Yöntem avı. Anlamlı çıkana kadar farklı standart hata, farklı test, farklı model denemek.

Kuyruk avı. Çift kuyruk anlamsızsa tek kuyruğa geçmek.

Kontrol avı. Sonucu güçlendiren kontrol değişkenlerini eklemek, zayıflatanları çıkarmak.

Her biri tek başına masum görünüyor. Birlikte, sahte bir bulgu üretiyorlar.

Belirtileri

Bir çalışmanın p-hacking içerip içermediğini dışarıdan tam anlamak zor ama belirtiler var.

Sonuçlar eşikte yığılıyor. p-değerleri 0,05’in hemen altında toplanıyorsa, ayarlanmış olabilir.

Tuhaf spesifik kararlar. “2013 Mart’tan 2019 Kasım’a” gibi garip dönem seçimleri. Neden tam o tarihler?

Sağlamlık testi yok. Sonuç sadece bir kurulumda gösteriliyor, alternatifler denenmemiş.

Mekanizma yok. Bulgu için ikna edici bir açıklama sunulmuyor. Sadece “veride var” deniyor.

Kendinize karşı

p-hacking’in en tehlikeli hali, kendi analizinizde farkında olmadan yapmak.

Bir kural deniyorsunuz, tutmuyor. Küçük bir ayar yapıyorsunuz, biraz düzeliyor. Bir tarih değiştiriyorsunuz, güzelleşiyor. Sonunda “işe yarayan” bir kural buluyorsunuz.

Ama o kural, sizin ayarlamalarınızın toplamı. Gerçek bir bulgu değil.

Biz buna karşı ağırlıkları hiç fit etmeyerek korunuyoruz. Optimize edilecek bir parametre olmayınca, ayarlama yapma imkanı da olmuyor. Ve denediğimiz tutmayan fikirleri yazarak, kaç deneme yaptığımızı açık ediyoruz.

Korunma

p-hacking’e karşı en iyi savunmalar belli.

Ön kayıt. Hipotezi ve yöntemi veriye bakmadan önce yazmak. Sonra ayar yapma imkanını ortadan kaldırıyor.

Deneme sayısını raporlamak. Kaç kurulum denendiğini söylemek. Deflated Sharpe gibi düzeltmeler bunu hesaba katıyor.

Örnek dışı test. Bir veride geliştirip başka veride test etmek.

Bağımsız tekrarlama. En güçlü. Başka bir ekip, başka bir veriyle aynı sonucu buluyor mu?

Nasıl okumalı

Bir bulgu gördüğünüzde şu soruları sorun.

Kaç değişken, kaç dönem, kaç yöntem denenmiş olabilir?

Dönem ve örneklem seçimleri doğal mı, yoksa tuhaf derecede spesifik mi?

Sağlamlık testleri var mı? Sonuç farklı kurulumlarda tutuyor mu?

Bir mekanizma sunuluyor mu?

Ve en güçlü test: bu bulgu bağımsız olarak tekrarlanmış mı?

p-hacking’i tamamen tespit edemezsiniz ama belirtilerini bilmek, hangi bulgulara ne kadar güveneceğinizi belirliyor.

Sıradaki

Sıradaki yazıyla performans ve risk metriklerine geçiyoruz. İlk konu, en çok kullanılan ve en çok yanlış yorumlanan ölçü: Sharpe oranı.

Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.