Cimri bir model nedir?

Cimri bir model, mümkün olduğu kadar az açıklayıcı değişken kullanarak istenen uyum seviyesine ulaşan modeldir.

Bu tür bir modelin arkasındaki mantık, en basit açıklamanın muhtemelen doğru olduğunu söyleyen Occam’ın usturası (bazen “tutumluluk ilkesi” olarak da adlandırılır) fikrinden kaynaklanmaktadır.

İstatistiklere uygulandığında, az sayıda parametresi olan ancak tatmin edici düzeyde uyum sağlayan bir model, tonlarca parametresi olan ve yalnızca biraz daha yüksek düzeyde uyum sağlayan bir modele tercih edilmelidir.

Bunun iki nedeni var:

1. Tutumlu modellerin yorumlanması ve anlaşılması daha kolaydır. Daha az parametreye sahip modellerin anlaşılması ve açıklanması daha kolaydır.

2. Tutumlu modeller daha büyük tahmin yeteneğine sahip olma eğilimindedir. Daha az parametreye sahip modeller, yeni verilere uygulandığında daha iyi performans gösterme eğilimindedir.

Bu fikirleri açıklamak için aşağıdaki iki örneği inceleyin.

Örnek 1: Tutumlu modeller = Kolay yorumlama

Gayrimenkul fiyatlarını tahmin etmek için gayrimenkulle ilgili bir dizi açıklayıcı değişkeni kullanarak bir model oluşturmak istediğimizi varsayalım. Ayarlanmış R-kareleriyle aşağıdaki iki modeli göz önünde bulundurun:

Model 1:

• Denklem: Ev fiyatı = 8.830 + 81*(feet kare)
• Düzeltilmiş ^R2 : 0,7734

Model 2:

• Denklem: Ev fiyatı = 8.921 + 77*(feet kare) + 7*(feet kare) ² – 9*(yaş) + 600*(yatak odası) + 38*(banyo)
• Düzeltilmiş ^R2 : 0,7823

İlk model yalnızca bir açıklayıcı değişkene ve 0,7734’lük düzeltilmiş ^R2’ye sahiptir; ikinci model ise biraz daha yüksek düzeltilmiş ^R2’ye sahip beş açıklayıcı değişkene sahiptir.

Tutumluluk ilkesine dayanarak, ilk modeli kullanmayı tercih edeceğiz çünkü her model, ev fiyatlarındaki değişimi açıklama konusunda yaklaşık olarak aynı yeteneğe sahiptir ancak ilk modelin anlaşılması ve açıklanması çok daha kolaydır.

Örneğin ilk modelde bir evin metrekaresindeki bir birimlik artışın ortalama 81 dolarlık konut fiyatı artışıyla ilişkili olduğunu biliyoruz. Anlaşılması ve anlatılması basittir.

Ancak ikinci örnekte katsayı tahminlerinin yorumlanması çok daha zordur. Örneğin, evin metrekaresi, yaşı ve banyo sayısının sabit kaldığı varsayıldığında, evde fazladan bir oda bulunması ev fiyatında ortalama 600 dolarlık bir artışla ilişkilidir. Anlamak ve anlatmak çok daha zordur.

Örnek 2: Tutumlu modeller = daha iyi tahminler

Kısmi modeller aynı zamanda yeni veri kümeleri üzerinde daha doğru tahminler yapma eğilimindedir çünkü orijinal veri kümesine uyma olasılıkları daha düşüktür.

Genel olarak daha fazla parametreye sahip modeller, daha az parametreye sahip modellere göre daha sıkı uyum ve daha yüksek ^R2 değerleri üretecektir. Ne yazık ki, bir modele çok fazla parametre dahil etmek, modelin, açıklayıcı değişkenler arasındaki gerçek temel ilişkiden ziyade, verinin gürültüsüne (veya “rastgeleliğine”) göre ayarlanmasına neden olabilir. ve yanıt değişkenleri.

Bu, birçok parametreye sahip çok karmaşık bir modelin, daha az parametreye sahip daha basit bir modelle karşılaştırıldığında, daha önce hiç görülmemiş yeni bir veri kümesinde muhtemelen düşük performans göstereceği anlamına gelir.

Sade bir model nasıl seçilir

Model seçimi konusuna ayrılmış bir kursun tamamı olabilir, ancak esasen, cimri bir model seçmek, bir metriğe göre en iyi performansı gösteren modeli seçmek anlamına gelir.

Modelleri bir eğitim veri kümesindeki performanslarına ve parametre sayısına göre değerlendiren yaygın olarak kullanılan ölçümler şunları içerir:

1. Akaike Bilgi Kriteri (AIC)

Bir modelin AIC’si şu şekilde hesaplanabilir:

AIC = -2/n * LL + 2 * k/n

Altın:

• n: eğitim veri setindeki gözlem sayısı.
• LL: modelin eğitim veri kümesindeki log olasılığı.
• k: Modeldeki parametre sayısı.

Bu yöntemi kullanarak her modelin AIC’sini hesaplayabilir ve ardından en düşük AIC değerine sahip modeli en iyi model olarak seçebilirsiniz.

Bu yaklaşım, bir sonraki yöntem olan BIC ile karşılaştırıldığında daha karmaşık modelleri tercih etme eğilimindedir.

2. Bayes Bilgi Kriteri (BIC)

Bir modelin BIC’si şu şekilde hesaplanabilir:

BIC = -2 * LL + log(n) * k

Altın:

• n: eğitim veri setindeki gözlem sayısı.
• log: Doğal logaritma (e tabanı)
• LL: modelin eğitim veri kümesindeki log olasılığı.
• k: Modeldeki parametre sayısı.

Bu yöntemi kullanarak her modelin BIC’sini hesaplayabilir ve ardından en düşük BIC değerine sahip modeli en iyi model olarak seçebilirsiniz.

Bu yaklaşım, AIC yöntemine kıyasla daha az parametreye sahip modelleri tercih etme eğilimindedir.

3. Minimum Açıklama Uzunluğu (MDL)

MDL, bilgi teorisi alanındaki modelleri değerlendirmenin bir yoludur. Aşağıdaki şekilde hesaplanabilir:

MDL = L(h) + L(D | h)

Altın:

• h: Model.
• D: Modelin yaptığı tahminler.
• L(h): Modeli temsil etmek için gereken bit sayısı.
• L(D | h): modelin eğitim verileri üzerindeki tahminlerini temsil etmek için gereken bit sayısı.

Bu yöntemi kullanarak her modelin MDL’sini hesaplayabilir ve ardından MDL değeri en düşük olan modeli en iyi model olarak seçebilirsiniz.

Üzerinde çalıştığınız problemin türüne bağlı olarak, basit bir model seçmek için bu yöntemlerden biri (AIC, BIC veya MDL) diğerlerine göre tercih edilebilir.