Yazı tura ile başlayalım
Adil bir parayı üç kez atın. Üçünde de tura gelme ihtimali sekizde bir. Yani yüzde 12,5.
Hiç de nadir değil. Sekiz kişiden biri bunu yaşıyor ve o kişi “bu para hileli” diye düşünebiliyor.
On kez atsanız ve onunda da tura gelse, işte o zaman şüphelenirsiniz. Çünkü ihtimali binde bir.
Aradaki fark örneklem büyüklüğü. Az gözlemle tesadüf, gerçek gibi görünüyor.
Gürültü nasıl azalıyor
Bir tahminin belirsizliği, gözlem sayısının kareköküyle ters orantılı olarak azalıyor.
Bu şu demek: belirsizliği yarıya indirmek için gözlem sayısını dörde katlamanız gerekiyor. Dörtte birine indirmek için on altıya katlamanız.
Yani ilk gözlemler çok şey öğretiyor, sonrakiler giderek daha az. Ama bir noktadan sonra hâlâ ilerlemek istiyorsanız, çok daha fazla veri gerekiyor.
Borsada kaç gözleminiz var, gerçekten
Burada çoğu kişinin gözden kaçırdığı bir incelik var.
Diyelim bir stratejiyi 500 hisse üzerinde 14 yıl test ettiniz. Aylık veriyle bu, yaklaşık 84 bin satır demek. Kulağa devasa geliyor.
Ama bu 84 bin bağımsız gözlem değil.
Aynı ay içindeki tüm hisseler aynı piyasa şokuna maruz kalıyor. Kur bir günde sıçradığında 500 hissenin hepsi etkileniyor. Yani o ay, 500 bağımsız bilgi parçası değil, büyük ölçüde tek bir olay.
Gerçek bağımsız birim sayısı, ay sayısına yakın. 14 yıl için yaklaşık 168.
168, 84 binden çok farklı bir sayı. Ve bir stratejinin gerçekten çalışıp çalışmadığını anlamak için elinizde olan şey bu.
Bu, bizim makine öğrenmesi denememizin neden çöktüğünü de açıklıyor. Esnek modeller binlerce bağımsız gözlem istiyor, bizde yüzlerce vardı.
Sinyal ne kadar zayıfsa, o kadar çok veri lazım
İkinci önemli nokta: gereken gözlem sayısı, aradığınız etkinin büyüklüğüne bağlı.
Büyük ve net bir etkiyi az gözlemle görebilirsiniz. Küçük bir etkiyi görmek için çok gözlem gerekiyor.
Hisse getirilerinde aradığımız etkiler küçük. Bizim ölçtüğümüz en güçlü kesitsel ilişki 0,08 civarında. Bu kadar küçük bir sinyali gürültüden ayırmak, çok sayıda gözlem gerektiriyor.
Bu yüzden “geçen ay şu kural işe yaradı” cümlesi hiçbir şey ifade etmiyor. Bir aylık veriyle 0,08’lik bir etkiyi görmek matematiksel olarak mümkün değil.
Küçük örneklem yanılgısı
İnsanlar küçük örneklemlerin de büyükler gibi davranmasını bekliyor. Buna küçük sayılar yasası deniyor ve bir yanılgı.
Borsada bunun birkaç görünümü var.
Bir fonun son bir yılına bakıp yetenek çıkarmak. Bir yıl, yeteneği şanstan ayırmak için çok kısa.
Bir stratejinin son beş işlemine bakmak. Beş işlem, hiçbir şey söylemez.
Bir analistin son iki isabetli tahminine güvenmek. Yeterince analist varsa, birileri üst üste isabet edecektir.
Kendi son üç kararınıza bakıp yetenek çıkarmak. En yaygın olanı bu.
Kaç gözlem yeterli sorusuna cevap
Kesin bir sayı yok ama düşünme çerçevesi var.
Sorulacak soru şu: aradığım etki gerçekten yoksa, elimdeki bu sonucu tesadüfen görme ihtimalim ne kadar?
Bu ihtimal yeterince düşükse sonuca güvenirsiniz. Bir sonraki yazıda tam olarak bunu ölçmenin yolunu, yani hipotez testini anlatacağız.
Pratik bir kural olarak: bir yatırım kuralı için elinizde en az birkaç yüz bağımsız dönem olsun. Ve farklı piyasa koşullarını içersin. Sadece boğa piyasasında test edilmiş bir kural, test edilmemiş sayılır.
Bizim yaklaşımımız bulguları üç ayrı dönemde birden göstermek. 2012 sonrası, 2018 sonrası, 2021 sonrası. Üçünde de aynı yöne bakmayan bir sonucu bulgu saymıyoruz.
Örneklem sayısı yetmediğinde ne yapılır
Bazen daha fazla veri toplayamıyorsunuz. O zaman iki seçenek var.
Modeli basitleştirin. Az veriyle karmaşık model kurmak, gürültüyü öğrenmek demek. Az parametreli, basit yapılar küçük örneklemde daha dayanıklı.
Beklentinizi düşürün. Elinizdeki veriyle küçük bir etkiyi güvenilir biçimde tespit edemiyorsanız, bunu kabul edin. “Belki vardır ama ölçemedim” demek, “buldum” demekten daha dürüst.
Bizim kompozit skorumuzda ağırlıkları veriden öğrenmememizin sebebi tam bu. Öğrenilecek kadar veri yok, o yüzden ağırlıkları teoriden alıyoruz.
Sıradaki
Bir sonraki yazıda regresyona geçiyoruz. Beta bu hesaptan çıkıyor ve regresyon, iki değişken arasındaki ilişkiyi sayısallaştırmanın en yaygın yolu.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.