Neden
Üç mekanizma birlikte çalışıyor.
Veri seyreliyor. Özellik sayısı arttıkça, aynı sayıda gözlem daha büyük bir uzayda dağılıyor. Her bölgeye düşen gözlem sayısı azalıyor. Model, dolu bir alanı değil, boşlukları modellemeye başlıyor.
Gürültü birikiyor. Her özellik kendi ölçüm hatasını getiriyor. Yirmi özellik, yirmi gürültü kaynağı demek. Sinyal aynı kalırken gürültü toplanıyor.
Tesadüfi ilişkiler artıyor. Çok sayıda özellik varsa, aralarında ya da hedefle tesadüfen ilişkili olanlar bulunuyor. Çoklu test tuzağının bir başka yüzü.
Kaç özellik uygun
Kesin bir sayı yok ama bir düşünme çerçevesi var.
Kaba bir kural: gerçek bağımsız gözlem sayınızın kareköküne yakın bir üst sınır düşünün.
Bizim durumumuzda gerçek bağımsız birim sayısı birkaç yüz. Kareköküne yakın bir sayı, bir avuç özellik demek.
Kompozit skorumuzda altı özellik var. Bu, ölçeğimizle tutarlı bir sayı ve tesadüf değil.
Özellik eklemenin gerçek maliyeti
Yeni bir özellik eklemeden önce sorulacak sorular.
Bu özellik gerçekten yeni bilgi taşıyor mu? Mevcut özelliklerle yüksek korelasyonluysa, yeni bilgi eklemiyor ama gürültü ekliyor. Bir sonraki yazının konusu.
Teorik bir gerekçesi var mı? “Deneyelim bakalım” ile eklenen özellikler, tesadüfi ilişki üretme makinesi.
Bu özelliği kaç aday arasından seçtim? Yirmi özellik deneyip en iyisini seçtiyseniz, o seçim zaten çoklu test.
Eklemeden önce ve sonra örnek dışı performans ne? Eğitim performansı her zaman iyileşir, önemli olan örnek dışı.
Bizim yaşadığımız
Faktör listemizi genişletmeyi denedik ve çoğu ekleme fayda üretmedi.
İdiyosinkratik volatiliteyi ayrı bir özellik olarak eklemeyi denedik. Toplam volatiliteye çok yakın sonuç verdi, yani yeni bilgi taşımıyordu. Basitlik için toplam volatiliteyi tuttuk.
Bu, boyut lanetine karşı en pratik savunma: bir özellik mevcutlarla neredeyse aynı şeyi ölçüyorsa, ikisini birden tutmanın faydası yok.
Boyut azaltma yöntemleri
Çok sayıda özelliğiniz varsa ve hepsini atmak istemiyorsanız, birleştirme yöntemleri var.
Ana bileşen analizi. Özellikleri, birbirinden bağımsız daha az sayıda bileşene indirgiyor.
Avantajı, bilginin çoğunu az sayıda boyutta toplaması. Dezavantajı, çıkan bileşenlerin yorumlanamaz olması. “Birinci bileşen” ne anlama geliyor, söylemek zor.
Yorumlanabilirlik bizim için önemli, çünkü modelin neden bir hisseyi seçtiğini açıklayabilmek istiyoruz. Bu yüzden ana bileşen analizini kullanmıyoruz.
Gruplama. Benzer özellikleri kategorilere ayırıp her kategoriden bir temsilci seçmek. Daha kaba ama yorumlanabilir kalıyor.
Ölçek meselesi yine
Gu, Kelly ve Xiu yüzlerce özellikle çalışıyor ve iyi sonuç alıyor.
Çelişki yok. Onların bağımsız gözlem sayısı çok daha büyük ve düzenlileştirme uyguluyorlar.
Boyut laneti mutlak bir yasa değil, veri miktarına göre değişen bir denge. Az veriyle az özellik, çok veriyle çok özellik.
Kendi ölçeğinizi bilmek, kaç özellik kullanacağınızı belirliyor.
Pratik öneri
Az sayıda özellikle başlayın. Üç dört tane.
Yeni bir özellik eklerken, örnek dışı performansı ekleme öncesi ve sonrası karşılaştırın.
İyileştirme marjinalse eklemeyin. Marjinal iyileşmelerin çoğu gürültü.
Ve özellik listenizi zaman zaman budayın. Katkısı olmayan bir özelliği çıkarmak, yeni bir özellik eklemekten genelde daha faydalı.
Sıradaki
Bir sonraki yazıda çoklu doğrusallığı ele alıyoruz. Birbirine benzeyen özelliklerin modeli nasıl kararsızlaştırdığını göreceğiz.
Bu yazı bilgilendirme amaçlıdır, yatırım tavsiyesi değildir.