Comment extraire les coefficients de régression du modèle Scikit-Learn

Vous pouvez utiliser la syntaxe de base suivante pour extraire les coefficients de régression d’un modèle de régression construit avec scikit-learn en Python :

pd.DataFrame(zip(X.columns, model.coef_))

L’exemple suivant montre comment utiliser cette syntaxe dans la pratique.

Exemple : extraire les coefficients de régression du modèle Scikit-Learn

Supposons que nous ayons le DataFrame pandas suivant qui contient des informations sur les heures étudiées, le nombre d’examens préparatoires passés et la note de l’examen final obtenue par 11 étudiants dans une classe :

import pandas as pd

#create DataFrame
df = pd.DataFrame({'hours': [1, 2, 2, 4, 2, 1, 5, 4, 2, 4, 4],
                   'exams': [1, 3, 3, 5, 2, 2, 1, 1, 0, 3, 4],
                   'score': [76, 78, 85, 88, 72, 69, 94, 94, 88, 92, 90]})

#view DataFrame
print(df)

    hours  exams  score
0       1      1     76
1       2      3     78
2       2      3     85
3       4      5     88
4       2      2     72
5       1      2     69
6       5      1     94
7       4      1     94
8       2      0     88
9       4      3     92
10      4      4     90

Nous pouvons utiliser le code suivant pour ajuster un modèle de régression linéaire multiple en utilisant les heures et les examens comme variables prédictives et le score comme variable de réponse :

from sklearn.linear_model import LinearRegression

#initiate linear regression model
model = LinearRegression()

#define predictor and response variables
X, y = df[['hours', 'exams']], df.score

#fit regression model
model.fit(X, y)

On peut alors utiliser la syntaxe suivante pour extraire les coefficients de régression des heures et des examens :

#print regression coefficients
pd.DataFrame(zip(X.columns, model.coef_))

            0	        1
0	hours	 5.794521
1	exams	-1.157647

À partir du résultat, nous pouvons voir les coefficients de régression pour les deux variables prédictives du modèle :

• Coefficient pour les heures : 5.794521
• Coefficient pour les examens : -1.157647

Si nous le souhaitons, nous pouvons également utiliser la syntaxe suivante pour extraire la valeur d’origine du modèle de régression :

#print intercept value
print(model.intercept_)

70.48282057040197

En utilisant chacune de ces valeurs, nous pouvons écrire l’équation du modèle de régression ajustée :

Score = 70,483 + 5,795 (heures) – 1,158 (examens)

Nous pouvons ensuite utiliser cette équation pour prédire la note finale d’un étudiant à l’examen en fonction du nombre d’heures passées à étudier et du nombre d’examens préparatoires passés.

Par exemple, un étudiant qui a étudié pendant 3 heures et passé 2 examens préparatoires devrait recevoir une note finale de 85,55 :

• Score = 70,483 + 5,795 (heures) – 1,158 (examens)
• Note = 70,483 + 5,795(3) – 1,158(2)
• Note = 85,55

Connexes : Comment interpréter les coefficients de régression

Ressources additionnelles

Les didacticiels suivants expliquent comment effectuer d’autres opérations courantes en Python :

Comment effectuer une régression linéaire simple en Python
Comment effectuer une régression linéaire multiple en Python
Comment calculer l’AIC des modèles de régression en Python