Introduction à l’analyse discriminante quadratique

Lorsque nous disposons d’un ensemble de variables prédictives et que nous souhaitons classer une variable de réponse dans l’une des deux classes, nous utilisons généralement la régression logistique .

Cependant, lorsqu’une variable de réponse a plus de deux classes possibles, nous utilisons généralement l’analyse discriminante linéaire , souvent appelée LDA.

LDA suppose que (1) les observations de chaque classe sontnormalement distribuées et (2) les observations de chaque classe partagent la même matrice de covariance. En utilisant ces hypothèses, LDA trouve alors les valeurs suivantes :

• μ _k : La moyenne de toutes les observations d’entraînement de la k ^ème classe.
• σ ² : La moyenne pondérée des variances de l’échantillon pour chacune des k classes.
• π _k : La proportion des observations d’entraînement qui appartiennent à la k ^ème classe.

LDA intègre ensuite ces nombres dans la formule suivante et attribue chaque observation X = x à la classe pour laquelle la formule produit la plus grande valeur :

ré _k (x) = x * (μ _k /σ ² ) – (μ _k ² /2σ ² ) + log(π _k )

LDA a linéaire dans son nom car la valeur produite par la fonction ci-dessus provient du résultat de fonctions linéaires de x.

Une extension de l’analyse discriminante linéaire est l’analyse discriminante quadratique , souvent appelée QDA.

Cette méthode est similaire à LDA et suppose également que les observations de chaque classe sont normalement distribuées, mais elle ne suppose pas que chaque classe partage la même matrice de covariance. Au lieu de cela, QDA suppose que chaque classe possède sa propre matrice de covariance.

Autrement dit, il suppose qu’une observation de la k ^ème classe est de la forme X ~ N(μ _k , Σ _k ).

En utilisant cette hypothèse, QDA trouve alors les valeurs suivantes :

• μ _k : La moyenne de toutes les observations d’entraînement de la k ^ème classe.
• Σ _k : La matrice de covariance de la k ^ème classe.
• π _k : La proportion des observations d’entraînement qui appartiennent à la k ^ème classe.

QDA intègre ensuite ces nombres dans la formule suivante et attribue chaque observation X = x à la classe pour laquelle la formule produit la plus grande valeur :

D _k (x) = -1/2*(x-μ _k ) ^T Σ _k ^-1 (x-μ _k ) – 1/2*log|Σ _k | + log(π _k )

Notez que QDA a quadratique dans son nom car la valeur produite par la fonction ci-dessus provient du résultat de fonctions quadratiques de x.

LDA vs QDA : quand utiliser l’un ou l’autre

La principale différence entre LDA et QDA est que LDA suppose que chaque classe partage une matrice de covariance, ce qui en fait un classificateur beaucoup moins flexible que QDA.

Cela signifie intrinsèquement qu’il a une faible variance, c’est-à-dire qu’il fonctionnera de la même manière sur différents ensembles de données d’entraînement. L’inconvénient est que si l’hypothèse selon laquelle les classes K ont la même covariance est fausse, alors LDA peut souffrir d’ un biais élevé .

QDA est généralement préféré à LDA dans les situations suivantes :

(1) L’ensemble de formation est vaste.

(2) Il est peu probable que les classes K partagent une matrice de covariance commune.

Lorsque ces conditions sont réunies, QDA a tendance à être plus performant car il est plus flexible et peut mieux s’adapter aux données.

Comment préparer les données pour QDA

Assurez-vous que vos données répondent aux exigences suivantes avant de leur appliquer un modèle QDA :

1. La variable de réponse est catégorique . Les modèles QDA sont conçus pour être utilisés pour des problèmes de classification , c’est-à-dire lorsque la variable de réponse peut être placée dans des classes ou des catégories.

2. Les observations dans chaque classe suivent une distribution normale . Tout d’abord, vérifiez que la distribution des valeurs dans chaque classe est à peu près normalement distribuée. Si ce n’est pas le cas, vous pouvez choisir de transformer d’abord les données pour rendre la distribution plus normale.

3. Tenir compte des valeurs aberrantes extrêmes. Assurez-vous de vérifier les valeurs aberrantes extrêmes dans l’ensemble de données avant d’appliquer LDA. En règle générale, vous pouvez vérifier visuellement les valeurs aberrantes en utilisant simplement des diagrammes en boîte ou des nuages de points .

QDA en R et Python

Les didacticiels suivants fournissent des exemples étape par étape sur la manière d’effectuer une analyse discriminante quadratique dans R et Python :

Analyse discriminante quadratique dans R (étape par étape)
Analyse discriminante quadratique en Python (étape par étape)