Neden gerekli
Bir sonuç, tek bir kuruluma bağlı olabilir. O kurulumun belirli tercihleri sonucu üretmiş olabilir.
Sağlamlık testi şunu sorar: bu tercihleri değiştirsem sonuç değişir mi?
Değişmiyorsa, bulgu sağlam. Değişiyorsa, bulgu o tercihe bağımlı ve kırılgan.
Yaygın sağlamlık testleri
Farklı dönemler. Bulgu alt dönemlerde de tutuyor mu? İlk yarı ve ikinci yarıda ayrı ayrı çalıştırılır.
Farklı örneklemler. Büyük ve küçük şirketlerde ayrı ayrı. Farklı sektörlerde. Uç gözlemler çıkarıldığında.
Farklı yöntemler. Aynı ilişki farklı istatistiksel yöntemlerle de çıkıyor mu?
Farklı değişken tanımları. Volatiliteyi 60 günle de 250 günle de ölçünce aynı sonuç mu? Kâr yerine faaliyet kârı kullanınca?
Farklı kontrol değişkenleri. Başka faktörler hesaba katıldığında etki hâlâ duruyor mu?
Neye dikkat etmeli
Sağlamlık testi var mı? Hiç yoksa, sonuç tek bir kuruluma bağlı olabilir. Bu tek başına bir uyarı.
Testler gerçekten farklı mı? Bazı yazarlar birbirine çok benzeyen testleri “sağlamlık” diye sunar. Aynı tercihi biraz değiştirmek gerçek bir sağlamlık testi değil.
Sonuç hepsinde tutuyor mu? Yazar beş test yapıp dördünde tutuyorsa ve beşincisini görmezden geliyorsa, o beşinci önemli olabilir.
Ters yönden bakış
Sağlamlık testleri aslında çoklu testin dürüst hali.
Çoklu test tuzağında, araştırmacı çok sayıda kurulum dener ve en iyisini raporlar. Sağlamlık testinde ise çok sayıda kurulum dener ve hepsini raporlar.
Fark, hangisini sakladığı. İyi bir makale, denediği kurulumların hepsini gösterir ve sonucun hepsinde tuttuğunu ispatlamaya çalışır.
Yani bir makalede çok sayıda sağlamlık testi görmek iyi işaret, çünkü yazarın saklayacak bir şeyi olmadığını gösteriyor.
Kendi çalışmalarımızda
Biz de aynı disiplini uyguluyoruz.
Bulguları üç ayrı dönemde gösteriyoruz. Likidite filtresini değiştirip sonucun nasıl oynadığına bakıyoruz. Komşu parametre değerleriyle test ediyoruz. Ve denediğimiz ama tutmayan fikirleri de yazıyoruz: rejim filtresi, makine öğrenmesi, devir azaltma.
Bu sonuncusu en önemli sağlamlık göstergesi. Sadece tutanları anlatmak, sağlamlık testinin tam tersi.
Nasıl okumalı
Bir makalenin sağlamlık bölümüne mutlaka bakın, atlamayın.
Testler gerçekten farklı tercihleri deniyor mu, yoksa aynı şeyin varyasyonları mı?
Sonuç hepsinde tutuyor mu, yoksa bazılarında zayıflıyor mu?
Zayıfladığı yer varsa, yazar bunu açıklıyor mu?
Sağlamlık testi olmayan ya da sadece kozmetik testler içeren bir çalışmaya temkinli yaklaşın. Asıl bulgu ne kadar etkileyici olursa olsun.
Sıradaki
Sıradaki yazıda kontrol değişkenlerini ele alıyoruz. Bir katsayının “neyi sabit tutarak” ölçüldüğü ve bunun neden her şeyi değiştirdiği.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.