Mantığı ters kurulmuş
Hipotez testinin mantığı ilk bakışta tuhaf geliyor, çünkü ters yönden çalışıyor.
Bir kural buldunuz ve işe yaradığını düşünüyorsunuz. Testi şöyle kuruyorsunuz:
Önce tersini varsayıyorsunuz. “Bu kuralın hiçbir etkisi yok, gördüğüm şey tesadüf.” Buna sıfır hipotezi deniyor.
Sonra soruyorsunuz: eğer gerçekten hiçbir etki yoksa, elimdeki bu sonucu tesadüfen görme ihtimalim ne kadar?
O ihtimal çok düşükse, “tesadüf açıklaması zayıf” diyorsunuz ve sıfır hipotezini reddediyorsunuz.
Yani kuralınızın doğru olduğunu kanıtlamıyorsunuz. Tesadüf açıklamasının yetersiz kaldığını gösteriyorsunuz. İnce ama önemli bir fark.
p-değeri
O ihtimalin adı p-değeri.
p = 0,03 ise: hiçbir etki olmasaydı, bu kadar güçlü bir sonucu tesadüfen görme ihtimalim yüzde 3’tü.
Geleneksel eşik 0,05. Bunun altındaki sonuçlara “istatistiksel olarak anlamlı” deniyor.
Bu eşik keyfi. Doğadan gelen bir sayı değil, uzlaşımla yerleşmiş bir gelenek. 0,049 ile 0,051 arasında nitelik farkı yok, sadece eşiğin iki yanındalar.
En sık yapılan yanlış okuma
p-değeri şunları söylemiyor:
“Kuralımın doğru olma ihtimali yüzde 97.” Hayır. p-değeri, hipotezinizin doğruluk ihtimali değil. Tersini varsaydığınızda verinizi görme ihtimali.
“Etki büyük.” Hayır. p-değeri etkinin büyüklüğünü söylemiyor. Çok büyük bir örneklemde, işe yaramayacak kadar küçük bir etki bile “anlamlı” çıkabiliyor.
“Sonuç kesin.” Hayır. p = 0,05 demek, yirmi denemede bir yanlış alarm demek. Yirmi test yaparsanız, hiçbir gerçek etki olmasa bile ortalama bir tanesi anlamlı çıkacak.
Bu son madde, bir sonraki yazının konusu ve borsada yapılan en büyük hatanın kaynağı.
Etki büyüklüğü, anlamlılıktan önemli
Pratikte sormanız gereken iki soru var ve sıralaması şu.
Birinci soru: etki ne kadar büyük? Yani bu bulgu, portföyümde bir fark yaratacak kadar güçlü mü?
İkinci soru: bu etkiye güvenebilir miyim? Yani gürültü olma ihtimali ne?
Çoğu kişi sadece ikinciyi soruyor ve birinciyi atlıyor. Halbuki istatistiksel olarak anlamlı ama pratikte önemsiz bulgular çok yaygın.
Bizim kesitsel testlerimizde bu ayrımı özellikle gözetiyoruz. Ölçtüğümüz bilgi katsayısı değerleri (0,08, 0,04 gibi) hem anlamlılık hem büyüklük açısından değerlendiriliyor. 0,08 kesitsel tahminde kullanılabilir bir büyüklük. Aynı sayı başka bir alanda önemsiz olurdu.
Güven aralığı daha faydalı
p-değeri yerine, çoğu durumda güven aralığına bakmak daha bilgilendirici.
Güven aralığı size sadece “anlamlı mı” değil, “ne kadar” sorusunun da cevabını veriyor. Etkinin makul aralığını gösteriyor.
Bir strateji için “yıllık fazla getiri yüzde 3 ile yüzde 12 arasında” demek, “anlamlı” demekten çok daha faydalı. Çünkü aralığın alt ucu, en kötü makul senaryonuz.
Aralık sıfırı içeriyorsa, etki anlamlı değil demektir. Ama aralığın genişliği de ayrıca bilgi taşıyor: dar aralık kesin bir tahmin, geniş aralık “pek bir şey bilmiyoruz” demek.
Anlamsız çıkmak, yok demek değil
Bir başka sık hata: p-değeri 0,05’i geçtiğinde “etki yok” sonucuna varmak.
Doğrusu şu: “elimdeki veriyle bir etki tespit edemedim.”
Etki gerçekten olmayabilir. Ya da etki vardır ama örneklemim onu görecek kadar büyük değildir. İkisi arasındaki farkı p-değeri söylemiyor.
Bu ayrım, bizim reddettiğimiz fikirler için de geçerli. Piyasa rejim filtresi bizim kurulumumuzda işe yaramadı. Bu, hiçbir koşulda işe yaramayacağı anlamına gelmiyor. Bizim testimizde, bizim modelimizle fayda üretmedi.
Finansta özel bir zorluk
Diğer alanlara göre finansta hipotez testi daha zor ve sebebi şu.
Fizik deneyinde koşulları kontrol edip deneyi tekrarlayabilirsiniz. Borsada tek bir geçmiş var ve tekrarlayamıyorsunuz.
Ayrıca aynı veri seti üzerinde binlerce araştırmacı yıllardır çalışıyor. Herkes kendi testinin p-değerini hesaplıyor ama kimse, toplamda kaç test yapıldığını bilmiyor.
Bu yüzden finansta daha katı eşikler önerenler var. Standart 0,05 yerine çok daha düşük eşikler. Gerekçe basit: bu kadar çok test yapılan bir alanda, alışılmış eşik yanlış keşifleri elemiyor.
Pratik alışkanlık
Bir araştırma sonucu okuduğunuzda şunlara bakın.
Etki ne kadar büyük, sadece anlamlı mı?
Örneklem büyüklüğü ne, gerçek bağımsız gözlem kaç?
Kaç farklı hipotez test edilmiş olabilir?
Bu bulgu başka bir veri setinde tekrarlanmış mı?
Dördüncüsü en güçlüsü. Bağımsız bir tekrarlama, tek bir düşük p-değerinden çok daha ikna edici.
Sıradaki
Bir sonraki yazıda bu bahsin en tehlikeli tarafını ele alıyoruz: yirmi fikir denerseniz, hiçbiri gerçek olmasa bile biri anlamlı çıkacak. Çoklu test tuzağı.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.