Sorun
Dergiler ilginç sonuçları yayınlamayı tercih ediyor. “Bir etki bulduk” makalesi yayınlanıyor, “hiçbir etki bulamadık” makalesi genelde çekmecede kalıyor.
Buna dosya çekmecesi sorunu deniyor.
Sonuç: yayınlanmış literatür, gerçek etkileri sistematik olarak abartıyor. Çünkü anlamsız sonuçlar görünmüyor.
Nasıl çalışıyor
Diyelim gerçekte hiçbir etkisi olmayan bir ilişkiyi yirmi araştırmacı bağımsız olarak test ediyor.
Anlamlılık eşiği 0,05 ise, ortalama bir tanesi tesadüfen anlamlı sonuç bulacak.
O bir kişi yayınlıyor. Diğer on dokuz, “bir şey bulamadık” diye yayınlamıyor.
Literatürde tek bir çalışma görünüyor ve “anlamlı bir etki” iddia ediyor. Halbuki o etki, on dokuz başarısızlığın gizlendiği bir tesadüf.
Belirtileri
Yayın yanlılığından şüphelenmenin birkaç yolu var.
Sonuçlar hep eşikte. Yayınlanmış p-değerleri tuhaf biçimde 0,05’in hemen altında yığılıyorsa, bu bir sinyal. Araştırmacılar sonucu eşiği geçecek şekilde ayarlamış olabilir.
Küçük çalışmalar büyük etki buluyor. Küçük örneklemli çalışmalar sadece büyük etki bulduklarında yayınlanabiliyor. Bu, küçük çalışmalarda abartılı etkiler yaratıyor.
Tekrarlamalar zayıf. Orijinal çalışma güçlü bir etki buluyor ama sonraki tekrarlamalar çok daha zayıf. Klasik yayın yanlılığı belirtisi.
Finanstaki hali
Finansta bu sorun özellikle büyük.
Faktör literatürü “faktör hayvanat bahçesi” diye anılıyor: yayınlanmış yüzlerce faktör var. Harvey, Liu ve Zhu bunların önemli bir kısmının yayın yanlılığı ve veri madenciliği ürünü olabileceğini savundu.
Ve finansta ek bir sorun var: kârlı bir strateji bulan kişinin onu yayınlamak için pek sebebi yok. Yani yayınlanan bulgular, ya gerçekten çalışmayan ya da artık çalışmayı bırakmış olanlar olabiliyor.
Ne yapmalı
Meta-analizlere ve derlemelere bakın. İyi bir derleme, yayın yanlılığını hesaba katmaya çalışır ve tek tek çalışmalardan daha güvenilir bir resim verir.
Tekrarlamalara ağırlık verin. Bir bulgu bağımsız olarak, farklı ekiplerce, farklı verilerde tekrarlanmışsa, yayın yanlılığı açıklaması zayıflıyor.
Ön kayıtlı çalışmalara güvenin. Bazı çalışmalar hipotezi ve yöntemi veriyi görmeden önce kaydediyor. Bu, sonuca göre ayar yapmayı engelliyor.
Etki büyüklüğüne bakın. Yayın yanlılığı en çok küçük ve sınırda etkileri şişiriyor. Büyük ve tutarlı etkiler daha güvenilir.
Kendi tarafımızda
Biz de aynı sorunun içindeyiz.
Denediğimiz ve tutmayan fikirleri yayınlamamızın sebebi tam bu. Sadece tutanları anlatmak, kendi çapımızda bir yayın yanlılığı üretmek olurdu.
Rejim filtresi tutmadı, makine öğrenmesi tutmadı, devir azaltma tutmadı. Bunları yazmak, tutanları doğru değerlendirmenizi sağlıyor.
Nasıl okumalı
Bir konuda tek bir çarpıcı çalışma gördüğünüzde sorun: bunun kaç tane yayınlanmamış başarısız versiyonu olabilir?
Çok sayıda araştırmacının çalıştığı bir alanda, çarpıcı bir bulgunun tesadüf olma ihtimali yüksek.
En güçlü kanıt tek bir makale değil, bağımsız tekrarlamalar ve dürüst derlemeler.
Sıradaki
Sıradaki yazıda bir makalenin sonuçlarını kendi piyasanıza taşırken nelere dikkat edileceğini ele alıyoruz.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.