Ön kayıt ve tekrarlanabilirlik: güvenilirliğin modern ölçütleri

Tekrarlanabilirlik krizi

Psikolojiden tıbba, birçok alanda ünlü bulgular tekrarlanamadı.

Sebepleri tanıdık: çoklu test, p-hacking, yayın yanlılığı, seçim yanlılığı. Bu seride tek tek ele aldığımız tuzaklar.

Finansta da aynı sorun var. Faktör hayvanat bahçesi, yüzlerce faktörün çoğunun tekrarlanamayabileceğini gösteriyor. Harvey, Liu ve Zhu’nun daha katı eşik önerisi, bu krize bir yanıt.

Yani “yayınlanmış” olmak, artık güven için yeterli değil. Ek işaretler gerekiyor.

Ön kayıt

Ön kayıt, hipotezi ve yöntemi veriye bakmadan önce kaydetmek.

Fikir basit: analizden önce ne arayacağınızı ve nasıl arayacağınızı ilan ediyorsunuz. Sonra o plana bağlı kalıyorsunuz.

Bu, p-hacking’i önlüyor. Sonuca göre hipotez ayarlayamıyorsunuz, çünkü hipotez zaten kayıtlı. Değişken avı, dönem avı, yöntem avı yapamıyorsunuz.

Ön kayıtlı bir çalışma, kayıtsız bir çalışmadan daha güvenilir. Çünkü esneklik, dolayısıyla p-hacking imkanı kısıtlanmış.

Keşif ve doğrulama ayrımı

Ön kayıt, önemli bir ayrımı netleştiriyor: keşif ve doğrulama.

Keşif araştırması, veride örüntü arıyor. Esnek, yaratıcı ama sonuçları geçici. Çoklu test riski yüksek.

Doğrulama araştırması, önceden belirlenmiş bir hipotezi test ediyor. Katı ama güvenilir.

İkisi de değerli ama karıştırılmamalı. Bir keşif bulgusu, doğrulama gibi sunulursa yanıltıcı. Ön kayıt, hangisinin hangisi olduğunu açık ediyor.

Biz kendi çalışmalarımızda bu ayrıma dikkat ediyoruz. Bir örüntü keşfettiğimizde, onu farklı dönemlerde test etmeden bulgu saymıyoruz. Keşif ile doğrulamayı ayırmak.

Tekrarlama

Bir bulgunun en güçlü sınavı, bağımsız tekrarlama.

Başka bir ekip, başka bir veriyle, aynı sonucu buluyor mu?

Tekrarlanan bir bulgu, çoklu test ve yayın yanlılığı açıklamalarını zayıflatıyor. Çünkü aynı tesadüfün, farklı veride tekrar çıkması olası değil.

52 haftalık zirve anomalisinin 20 piyasada tekrarlanması, bu türden güçlü bir kanıt. Tek bir çalışmadan çok daha ikna edici.

Açık veri ve kod

Modern güvenilirliğin bir başka ölçütü: verinin ve kodun paylaşılması.

Bir çalışma verisini ve kodunu paylaşıyorsa, başkaları sonucu kontrol edebiliyor. Bu, hataları ve manipülasyonu caydırıyor.

Kapalı, kontrol edilemeyen bir çalışmaya, açık olandan daha az güvenmek makul.

Nasıl okumalı

Bir araştırmanın güvenilirliğini değerlendirirken şu modern ölçütlere bakın.

Ön kayıtlı mı? Hipotez veriye bakılmadan önce belirlenmiş mi?

Bu bir keşif mi doğrulama mı çalışması? Keşif bulguları geçici, doğrulama daha güvenilir.

Bağımsız olarak tekrarlanmış mı? En güçlü kanıt bu.

Veri ve kod açık mı?

Ve unutmayın: “yayınlanmış” olmak artık tek başına güven için yeterli değil. Tekrarlanabilirlik krizi bunu gösterdi. Ön kayıt, tekrarlama ve açıklık, ek güven katmanları.

Sıradaki

Sıradaki yazıda iyi bir araştırma sorusunun neye benzediğini ele alıyoruz. Doğru soru sormak, doğru cevap bulmanın yarısı.

Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.