İkinci dereceden diskriminant analizine giriş

Bir dizi öngörücü değişkenimiz olduğunda ve bir yanıt değişkenini iki sınıftan birine sınıflandırmak istediğimizde genelliklelojistik regresyon kullanırız.

Bununla birlikte, bir yanıt değişkeninin ikiden fazla olası sınıfı varsa, genellikle LDA olarak adlandırılan doğrusal diskriminant analizini kullanırız.

LDA, (1) her sınıftaki gözlemlerin normal olarak dağıldığını ve (2) her sınıftaki gözlemlerin aynı kovaryans matrisini paylaştığını varsayar. Bu varsayımları kullanarak LDA aşağıdaki değerleri bulur:

• μ _k : ^K. sınıfın tüm eğitim gözlemlerinin ortalaması.
• σ ² : Her k sınıfı için örnek varyansların ağırlıklı ortalaması.
• π _k : ^K. sınıfa ait eğitim gözlemlerinin oranı.

LDA daha sonra bu sayıları aşağıdaki formüle yerleştirir ve her X = x gözlemini formülün en büyük değeri ürettiği sınıfa atar:

d _k (x) = x * (μ _k /σ ² ) – (μ _k ² /2σ ² ) + log(π _k )

LDA’nın adı doğrusaldır çünkü yukarıdaki fonksiyon tarafından üretilen değer, x’in doğrusal fonksiyonlarının sonucundan gelir.

Doğrusal diskriminant analizinin bir uzantısı, genellikle QDA olarak adlandırılan ikinci dereceden diskriminant analizidir .

Bu yöntem LDA’ya benzer ve ayrıca her sınıfın gözlemlerinin normal dağıldığını varsayar, ancak her sınıfın aynı kovaryans matrisini paylaştığını varsaymaz. Bunun yerine QDA, her sınıfın kendi kovaryans matrisine sahip olduğunu varsayar.

Başka bir deyişle, ^k’inci sınıfa ait bir gözlemin X ~ N( _μk , _Σk ) formunda olduğunu varsayar.

Bu varsayımı kullanarak QDA aşağıdaki değerleri bulur:

• μ _k : ^K’inci sınıfın tüm eğitim gözlemlerinin ortalaması.
• Σ _k : ^k’inci sınıfın kovaryans matrisi.
• π _k : ^K. sınıfa ait eğitim gözlemlerinin oranı.

QDA daha sonra bu sayıları aşağıdaki formüle yerleştirir ve her X = x gözlemini, formülün en büyük değeri ürettiği sınıfa atar:

D _k (x) = -1/2*(x-μ _k ) ^T Σ _k ^-1 (x-μ _k ) – 1/2*log|Σ _k | + log( _πk )

Yukarıdaki fonksiyon tarafından üretilen değer, x’in ikinci dereceden fonksiyonlarının sonucundan geldiğinden, QDA’nın adında ikinci dereceden ifade olduğuna dikkat edin.

LDA ve QDA: Birini veya Diğerini Ne Zaman Kullanmalı?

LDA ve QDA arasındaki temel fark, LDA’nın her sınıfın bir kovaryans matrisini paylaştığını varsaymasıdır, bu da onu QDA’ya göre çok daha az esnek bir sınıflandırıcı yapar.

Bu, doğal olarak düşük varyansa sahip olduğu anlamına gelir, yani farklı eğitim veri kümelerinde aynı performansı sergileyecektir. Dezavantajı ise, eğer K sınıflarının aynı kovaryansa sahip olduğu varsayımı yanlışsa, o zaman LDA’nın yüksek önyargıdan muzdarip olabilmesidir.

QDA genellikle aşağıdaki durumlarda LDA’ya tercih edilir:

(1) Eğitim seti büyüktür.

(2) K sınıflarının ortak bir kovaryans matrisini paylaşması pek olası değildir.

Bu koşullar karşılandığında QDA daha esnek olduğundan ve verilere daha iyi uyum sağlayabildiğinden daha iyi performans gösterme eğilimindedir.

QDA için veriler nasıl hazırlanır?

Verilerinize bir QDA modeli uygulamadan önce verilerinizin aşağıdaki gereksinimleri karşıladığından emin olun:

1. Yanıt değişkeni kategoriktir . QDA modelleri sınıflandırma problemlerinde , yani yanıt değişkeninin sınıflara veya kategorilere yerleştirilebildiği durumlarda kullanılmak üzere tasarlanmıştır.

2. Her sınıftaki gözlemler normal bir dağılım izlemektedir . Öncelikle her sınıftaki değerlerin dağılımının yaklaşık olarak normal dağılıp dağılmadığını kontrol edin. Değilse, dağılımı daha normal hale getirmek için önce verileri dönüştürmeyi seçebilirsiniz.

3. Aşırı aykırı değerleri hesaba katın. LDA’yı uygulamadan önce veri kümesindeki aşırı aykırı değerleri kontrol ettiğinizden emin olun. Tipik olarak, yalnızca kutu grafiklerini veya dağılım grafiklerini kullanarak aykırı değerleri görsel olarak kontrol edebilirsiniz.

R ve Python’da QDA

Aşağıdaki eğitimlerde R ve Python’da ikinci dereceden diskriminant analizinin nasıl gerçekleştirileceğine ilişkin adım adım örnekler verilmektedir:

R’de İkinci Dereceden Diskriminant Analizi (adım adım)
Python’da İkinci Dereceden Diskriminant Analizi (Adım Adım)