Tablolardaki yıldızlar: p-değeri bir makalede nasıl okunur

Yıldız sistemi

Yıldızlar istatistiksel anlamlılık seviyesini gösteriyor. Yaygın uzlaşım şöyle.

Üç yıldız: p < 0,01. Yani sonuç tesadüf olsaydı bu kadar güçlü bir şey görme ihtimali yüzde 1’in altında.

İki yıldız: p < 0,05.

Bir yıldız: p < 0,10.

Yıldız yoksa, sonuç geleneksel eşiklerde anlamlı değil.

Bunun altında genelde t-istatistiği ya da standart hata parantez içinde verilir.

Yıldızın söylemediği

Yıldız sayısı çok şeyi söylemiyor ve bunları bilmek kritik.

Etkinin büyüklüğünü söylemiyor. Üç yıldızlı bir katsayı, pratikte önemsiz bir büyüklükte olabilir. Çok büyük bir örneklemde, işe yaramayacak kadar küçük bir etki bile üç yıldız alır.

Bulgunun doğru olma ihtimalini söylemiyor. p-değeri, “hipotezim doğru” ihtimali değil. Tersini varsaydığınızda veriyi görme ihtimali.

Kaç test yapıldığını söylemiyor. Yazar yirmi değişken denediyse ve sadece anlamlı çıkanları raporladıysa, o yıldızlar yanıltıcı.

Finans için özel bir sorun

Standart 0,05 eşiği finansta yeterince katı değil.

Harvey, Liu ve Zhu 2016’da yayınladıkları çalışmada bunu ele aldı. Yüzlerce faktör test edilmiş bir alanda, alışılmış t-istatistiği eşiği olan 2,0 çok gevşek. Bu kadar çok deneme yapıldığında tesadüfen anlamlı çıkanlar bol.

Önerdikleri eşik: yeni bir faktörün gerçek sayılması için t-istatistiği en az 3,0 olmalı. Bu ölçütle, inceledikleri 313 değişkenden sadece dokuzu ayakta kalıyor.

Yani bir finans makalesinde iki yıldız gördüğünüzde (t yaklaşık 2), o alanda ne kadar çok test yapıldığını düşünerek daha temkinli olmak gerekiyor.

Nasıl okumalı

Bir tabloda yıldız gördüğünüzde sırayla şunları sorun.

Katsayının büyüklüğü pratikte anlamlı mı? Önce buna bakın, yıldıza sonra.

t-istatistiği kaç? 2 ile 3 arasındaki değerlere, özellikle çok faktörlü bir alanda, temkinli yaklaşın.

Yazar kaç değişken test etmiş olabilir? Tabloda çok sayıda değişken varsa, bazılarının tesadüfen anlamlı çıkması beklenir.

Bu bulgu başka çalışmalarda da tutuyor mu?

Pratik çıkarım

Yıldız bir başlangıç filtresi, sonuç değil.

Üç yıldız “bu gerçek” demek değil. “Bu, tesadüf açıklamasını geleneksel eşikte geçti” demek. Finansta o eşik düşük.

Asıl güven, etki büyüklüğü, t-istatistiğinin yüksekliği ve bağımsız tekrarlamadan geliyor.

Kaynak

• Harvey, Liu & Zhu, …and the Cross-Section of Expected Returns, Review of Financial Studies 29(1)

Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.