Introduzione all'analisi discriminante quadratica

Quando disponiamo di un insieme di variabili predittive e vogliamo classificare una variabile di risposta in una delle due classi, generalmente utilizziamo la regressione logistica .

Tuttavia, quando una variabile di risposta ha più di due classi possibili, generalmente utilizziamo l’analisi discriminante lineare , spesso chiamata LDA.

L’LDA presuppone che (1) le osservazioni in ciascuna classe siano distribuite normalmente e (2) le osservazioni in ciascuna classe condividano la stessa matrice di covarianza. Utilizzando questi presupposti, LDA trova quindi i seguenti valori:

• μ _k : La media di tutte le osservazioni di allenamento della classe k ^-esima .
• σ ² : La media ponderata delle varianze campionarie per ciascuna delle k classi.
• π _k : La proporzione di osservazioni di addestramento che appartengono alla k- ^esima classe.

LDA inserisce quindi questi numeri nella formula seguente e assegna ciascuna osservazione X = x alla classe per la quale la formula produce il valore più grande:

d _k (x) = x * (μ _k /σ ² ) – (μ _k ² /2σ ² ) + log(π _k )

LDA ha lineare nel suo nome perché il valore prodotto dalla funzione di cui sopra deriva dal risultato di funzioni lineari di x.

Un’estensione dell’analisi discriminante lineare è l’analisi discriminante quadratica , spesso chiamata QDA.

Questo metodo è simile all’LDA e presuppone inoltre che le osservazioni di ciascuna classe siano distribuite normalmente, ma non presuppone che ciascuna classe condivida la stessa matrice di covarianza. Invece, QDA presuppone che ciascuna classe abbia la propria matrice di covarianza.

In altre parole, si presuppone che un’osservazione della classe k ^-esima sia della forma X ~ N(μ _k , Σ _k ).

Utilizzando questo presupposto, QDA trova quindi i seguenti valori:

• μ _k : La media di tutte le osservazioni di allenamento della ^kesima classe.
• Σ _k : La matrice di covarianza della classe ^k-esima .
• π _k : La proporzione di osservazioni di addestramento che appartengono alla k- ^esima classe.

QDA inserisce quindi questi numeri nella formula seguente e assegna ciascuna osservazione X = x alla classe per la quale la formula produce il valore più grande:

D _k (x) = -1/2*(x-μ _k ) ^T Σ _k ^-1 (x-μ _k ) – 1/2*log|Σ _k | + log( _πk )

Nota che QDA ha quadratico nel suo nome perché il valore prodotto dalla funzione sopra deriva dal risultato delle funzioni quadratiche di x.

LDA vs QDA: quando utilizzare l’uno o l’altro

La differenza principale tra LDA e QDA è che LDA presuppone che ciascuna classe condivida una matrice di covarianza, rendendolo un classificatore molto meno flessibile di QDA.

Ciò significa intrinsecamente che ha una varianza bassa, ovvero avrà le stesse prestazioni su diversi set di dati di addestramento. Lo svantaggio è che se l’ipotesi che le classi K abbiano la stessa covarianza è falsa, allora l’LDA potrebbe soffrire di un’elevata distorsione .

QDA è generalmente preferito rispetto a LDA nelle seguenti situazioni:

(1) Il set di formazione è ampio.

(2) È improbabile che le classi K condividano una matrice di covarianza comune.

Quando queste condizioni sono soddisfatte, QDA tende a funzionare meglio perché è più flessibile e può adattarsi meglio ai dati.

Come preparare i dati per QDA

Assicurati che i tuoi dati soddisfino i seguenti requisiti prima di applicarvi un modello QDA:

1. La variabile di risposta è categoriale . I modelli QDA sono progettati per essere utilizzati per problemi di classificazione , ovvero quando la variabile di risposta può essere inserita in classi o categorie.

2. Le osservazioni in ciascuna classe seguono una distribuzione normale . Innanzitutto, controlla che la distribuzione dei valori in ciascuna classe sia approssimativamente distribuita normalmente. In caso contrario, puoi scegliere di trasformare prima i dati per rendere la distribuzione più normale.

3. Tenere conto dei valori anomali estremi. Assicurati di verificare la presenza di valori anomali estremi nel set di dati prima di applicare LDA. In genere, è possibile verificare visivamente la presenza di valori anomali semplicemente utilizzando box plot o grafici a dispersione.

QDA in R e Python

I seguenti tutorial forniscono esempi passo passo su come eseguire l’analisi discriminante quadratica in R e Python:

Analisi discriminante quadratica in R (passo dopo passo)
Analisi discriminante quadratica in Python (passo dopo passo)