Régression polynomiale

Par Pr Amélia Rodriguez août 2, 2023 Statistiques 0 commentaire

Cet article explique ce qu’est la régression polynomiale en statistiques et comment elle est réalisée. De plus, vous pourrez voir un exemple dans lequel une régression polynomiale est effectuée.

Qu’est-ce que la régression polynomiale ?

La régression polynomiale , ou régression polynomiale , est un modèle de régression dans lequel la relation entre la variable indépendante X et la variable dépendante Y est modélisée à l’aide d’un polynôme.

Par exemple, l’équation d’un modèle de régression polynomiale quadratique est y=β ₀ +β ₁ x+β ₂ x ² +ε.

La régression polynomiale est utile pour ajuster des ensembles de données dont les graphiques sont des courbes polynomiales. Ainsi, si le diagramme de points d’un échantillon de données a la forme d’une parabole, il sera préférable de construire un modèle de régression quadratique plutôt qu’un modèle de régression linéaire. De cette manière, l’équation du modèle de régression s’adaptera mieux à l’échantillon de données.

Notez que la régression polynomiale est un type de régression non linéaire, au même titre que la régression exponentielle et la régression logarithmique.

Formule de régression polynomiale

L’équation d’un modèle de régression polynomiale est y=β ₀ +β ₁ x+β ₂ x ² +β ₃ x ³ …+β _m x ^m +ε.

$y=\beta_0+\beta_1 x+\beta_2 x^2+\beta_3 x^3+\dots+\beta_m x^m+\varepsilon$

Où:

$y$ est la variable dépendante.
$x$ est la variable indépendante.
$\beta_0$ est la constante de l’équation de régression polynomiale.
$\beta_i$ est le coefficient de régression associé à la variable $x^i$ .
$\bm{\varepsilon}$ C’est l’erreur ou résidu, c’est-à-dire la différence entre la valeur observée et la valeur estimée par le modèle.

Donc si nous avons un échantillon avec un total de

$n$ observations, nous pouvons proposer le modèle de régression polynomiale sous forme matricielle :

$\begin{pmatrix}y_1\\y_2\\y_3\\\vdots\\y_n\end{pmatrix}=\begin{pmatrix}1&x_1&x_1^2&\dots&x_1^m\\1&x_2&x_2^2&\dots&x_2^m\\1&x_3&x_3^2&\dots&x_3^m\\ \vdots&\vdots&\ddots&\vdots\\1&x_{n}&x_n^2&\dots&x_n^m\end{pmatrix}\cdot\begin{pmatrix}\beta_0\\\beta_1\\\beta_2\\\vdots\\\beta_m\end{pmatrix}+\begin{pmatrix}\varepsilon_1\\\varepsilon_2\\\varepsilon_3\\\vdots\\\varepsilon_n\end{pmatrix}$

L’expression matricielle ci-dessus peut être réécrite en attribuant une lettre à chaque matrice :

$Y=X\beta+\varepsilon$

Ainsi, en appliquant le critère des moindres carrés , on peut arriver à la formule pour estimer les coefficients d’un modèle de régression polynomiale :

$\widehat{\beta}=\left(X^tX\right)^{-1}X^tY$

Cependant, faire ces calculs à la main est très laborieux et prend du temps, il est donc plus pratique d’utiliser un logiciel informatique (comme Minitab ou Excel) qui permet de réaliser un modèle de régression polynomiale beaucoup plus rapidement.

Exemple de modèle de régression polynomiale

Maintenant que nous connaissons la définition de la régression polynomiale et comment elle est réalisée, regardons un exemple concret pour bien comprendre le concept.

Tout d’abord, il faut garder à l’esprit qu’un modèle de régression polynomiale doit être réalisé lorsque le graphe de données a la forme d’une courbe polynomiale. Par exemple, si le dotplot se présente sous la forme d’une courbe cubique, nous devons construire un modèle de régression polynomiale du troisième degré.

Ainsi, comme vous le voyez dans l’image suivante, le tracé de points de nos données a une forme quadratique, car à mesure que nous augmentons la valeur de la variable indépendante, la variable dépendante croît plus rapidement. Dans ce cas, un modèle de régression linéaire a été réalisé et, comme vous pouvez le constater, il n’ajuste pas bien les points car il comporte des sections dans lesquelles la ligne est en dessous de tous les points et des sections dans lesquelles la ligne est au-dessus d’eux.

D’un autre côté, si nous réalisons un modèle de régression polynomiale quadratique, il s’adapte beaucoup mieux à l’échantillon de données, comme vous pouvez le voir dans l’image ci-dessous.

De plus, lors de l’élaboration d’un modèle de régression polynomiale, le coefficient de détermination s’améliore considérablement puisqu’il passe de 86,80% à 94,05%. Par conséquent, le nouveau modèle de régression explique beaucoup mieux l’ensemble de données.

D’un autre côté, une autre indication que nous devons effectuer une régression polynomiale est le tracé des résidus. Si lors d’une régression linéaire, le graphique des résidus a la forme d’une parabole ou d’un autre type de polynôme, un modèle de régression polynomiale s’adapte sûrement mieux aux données étudiées.

Autres types de régression non linéaire

Il existe principalement trois types de régression non linéaire :

Régression polynomiale – L’équation du modèle de régression se présente sous la forme d’un polynôme.
Régression logarithmique : le logarithme de la variable indépendante est pris.
Régression exponentielle : La variable indépendante se trouve dans l’exposant de l’équation.

➤ Voir : Régression logarithmique
➤ Voir : Régression exponentielle

à propos de l'auteur

Pr Amélia Rodriguez

En mettant l'accent sur l'apprentissage interactif et les applications pratiques, la professeure Amélia Rodriguez propose des tutoriels complets et des exemples concrets pour rendre les concepts de probabilité accessibles et pertinents pour la vie de ses étudiants. Lire plus