Güç ne
İstatistiksel güç, gerçekten var olan bir etkiyi tespit etme olasılığı.
Yüksek güçlü bir çalışma, varsa etkiyi büyük ihtimalle yakalar. Düşük güçlü bir çalışma, etki olsa bile onu kaçırabilir.
Güç birkaç şeye bağlı: örneklem büyüklüğü, etkinin büyüklüğü ve gürültünün miktarı.
Küçük örneklem, küçük etki, çok gürültü: düşük güç. Yani “bir şey bulamadık” sonucu, etki olmadığını değil, çalışmanın onu göremediğini gösteriyor olabilir.
“Bulamadık” tuzağı
Bu, en sık yapılan yorum hatalarından biri.
Bir çalışma anlamsız sonuç bulduğunda, insanlar “demek ki etki yok” diye okuyor. Halbuki doğru okuma: “bu çalışma, elindeki veriyle etkiyi tespit edemedi.”
Etki gerçekten olmayabilir. Ya da çalışma çok düşük güçlü olabilir. İkisini ayırmak için, çalışmanın gücüne bakmak gerekiyor.
Güç düşükse, “bulamadık” sonucu az şey söylüyor. Güç yüksekse ve yine de bulamadıysa, etkinin gerçekten küçük ya da yok olduğu daha güçlü bir sonuç.
Finansta düşük güç yaygın
Finansta güç genelde düşük ve bunun yapısal bir sebebi var.
Sinyal gürültü oranı çok düşük. Getiriler çok oynak, etkiler küçük. Bu, gerçek bir etkiyi tespit etmek için çok fazla veri gerektiriyor.
Bağımsız gözlem sayısı sınırlı. Aylık veride birkaç yüz bağımsız dönem, küçük etkileri güvenilir tespit etmeye çoğu zaman yetmiyor.
Yani finansta “anlamlı bulamadık” sonuçları, genelde düşük güçten kaynaklanıyor olabilir. Bir etkinin yokluğunu kanıtlamak, varlığını kanıtlamaktan çok daha zor.
Bizim tarafımızda
Biz reddettiğimiz fikirleri yazarken bu ayrıma dikkat ediyoruz.
Rejim filtresi bizim kurulumumuzda işe yaramadı. Ama bu, “rejim filtresi hiçbir koşulda işe yaramaz” demek değil. “Bizim modelimizde, bu veriyle fayda üretmedi” demek.
Bir fikrin işe yaramaması, o fikrin evrensel olarak değersiz olduğunu göstermiyor. Sadece test edilen kurulumda tespit edilebilir bir fayda olmadığını gösteriyor.
Bu ayrımı yapmak, dürüstlüğün parçası. “Bulamadık” ile “yok” farklı iddialar.
Önceden güç hesabı
İyi tasarlanmış çalışmalar, veri toplamadan önce güç analizi yapıyor.
“Bu büyüklükte bir etkiyi tespit etmek için kaç gözlem gerekiyor?” sorusunu baştan cevaplıyorlar. Böylece yeterli güçle çalıştıklarından emin oluyorlar.
Güç analizi yapmadan küçük bir örneklemle “bir şey bulamadık” diyen bir çalışma, aslında bir şey söylemiyor olabilir. Belki etki vardı ama çalışma onu görecek kadar güçlü değildi.
Nasıl okumalı
Bir “anlamlı etki bulamadık” sonucu gördüğünüzde, çalışmanın gücünü sorun.
Örneklem büyüklüğü, aranan etkiyi tespit edecek kadar var mı?
Güç analizi yapılmış mı?
Düşük güçlü bir çalışmanın “bulamadık” sonucu, etkinin yokluğunu kanıtlamıyor. Sadece tespit edilemediğini gösteriyor.
Ve unutmayın: finansta güç genelde düşük. “Bir şey bulamadık” ile “etki yok” arasındaki farkı özellikle burada gözetin.
Sıradaki
Sıradaki yazıda bir testin varsayımları ihlal edildiğinde ne olduğunu ele alıyoruz. Yöntemlerin arkasındaki varsayımlar neden önemli.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.