İki farklı soru
İstatistiksel anlamlılık şunu sorar: bu etki gerçek mi, yoksa tesadüf müydü?
Ekonomik anlamlılık şunu sorar: bu etki, umursayacağım kadar büyük mü?
Bir sonuç ilk soruyu geçip ikincisinde kalabilir. Gerçek bir etki, ama önemsiz kadar küçük bir etki.
Örneklem büyüklüğü tuzağı
İstatistiksel anlamlılık, örneklem büyüklüğüne çok duyarlı.
Yeterince büyük bir örneklemde, neredeyse her etki anlamlı çıkar. Milyonlarca gözlemle, sıfırdan azıcık farklı bir etki bile üç yıldız alır.
Bu yüzden çok büyük veri setleriyle çalışan çalışmalarda, “anlamlı” kelimesi az şey söyler. Asıl soru büyüklük.
Bir strateji “istatistiksel olarak anlamlı” bir fazla getiri üretiyor ama o getiri yıllık yüzde 0,5 ise ve işlem maliyeti yüzde 2 ise, anlamlılık bir işe yaramıyor.
Nasıl değerlendirilir
Ekonomik anlamlılığı değerlendirmek için etkiyi somut bir dile çevirin.
Bir faktörün getiriyi öngörmesi ne kadar? En üst desil ile en alt desil arasında aylık kaç puan fark var? Bu fark, işlem maliyetini karşılıyor mu?
Bir katsayı “X bir birim artınca getiri şu kadar artıyor” diyor. O “bir birim” gerçekçi bir değişim mi, yoksa hiç gerçekleşmeyecek bir uç mu?
Etkiyi portföy diline çevirmek, anlamlılık yıldızlarından çok daha bilgilendirici.
Bizim örneğimiz
Kendi kesitsel testlerimizde volatilitenin tahmin gücü, korelasyon olarak 0,082.
Bu istatistiksel olarak anlamlı. Ama ekonomik olarak anlamlı mı?
Portföy diline çevirdiğimizde: en sakin ve en oynak desiller arasında aylık iki puanın üzerinde fark var. Bu, işlem maliyetini karşılayacak ve fark yaratacak bir büyüklük.
Yani hem istatistiksel hem ekonomik olarak anlamlı. Ama bu ikisini ayrı ayrı kontrol etmek gerekti. Biri diğerini garanti etmiyor.
Ters durum da var
Bazen bir etki ekonomik olarak büyük görünür ama istatistiksel olarak anlamlı değildir.
Yani örneklemde büyük bir fark var ama o fark, gürültüden ayırt edilemeyecek kadar belirsiz. Az sayıda gözlemle, büyük ama güvenilmez bir etki.
Bu durumda da temkinli olmak gerekiyor. Büyük ama belirsiz bir etki, tekrarlanmayabilir.
İdeal olan, hem büyük hem güvenilir. Yani hem ekonomik hem istatistiksel olarak anlamlı.
Nasıl okumalı
Bir sonuç gördüğünüzde iki soruyu ayrı ayrı sorun.
Bu etki gerçek mi? (istatistiksel anlamlılık, t-istatistiği)
Bu etki umursayacağım kadar büyük mü? (etki büyüklüğü, portföy karşılığı)
İkisi de evet ise sonuç değerli. Sadece biri evet ise dikkatli olun.
Ve büyük örneklemli çalışmalarda “anlamlı” kelimesine takılmayın. Orada asıl bilgi büyüklükte.
Sıradaki
Sıradaki yazıda yayın yanlılığını ve dosya çekmecesi sorununu ele alıyoruz. Yayınlanmayan sonuçların, yayınlananları nasıl yanıltıcı kıldığını göreceğiz.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.