Validation croisée K-Fold en Python (étape par étape)

Pour évaluer les performances d’un modèle sur un ensemble de données, nous devons mesurer dans quelle mesure les prédictions faites par le modèle correspondent aux données observées.

Une méthode couramment utilisée pour ce faire est connue sous le nom de validation croisée k-fold , qui utilise l’approche suivante :

1. Divisez aléatoirement un ensemble de données en k groupes, ou « plis », de taille à peu près égale.

2. Choisissez l’un des plis comme ensemble de retenue. Ajustez le modèle sur les plis k-1 restants. Calculez le test MSE sur les observations dans le pli qui a été tendu.

3. Répétez ce processus k fois, en utilisant à chaque fois un ensemble différent comme ensemble d’exclusion.

4. Calculez le MSE global du test comme étant la moyenne des k MSE du test.

Ce didacticiel fournit un exemple étape par étape de la façon d’effectuer une validation croisée k-fold pour un modèle donné en Python.

Étape 1 : Charger les bibliothèques nécessaires

Tout d’abord, nous allons charger les fonctions et bibliothèques nécessaires pour cet exemple :

from sklearn.model_selection import train_test_split
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LinearRegression
from numpy import mean
from numpy import absolute
from numpy import sqrt
import pandas as pd

Étape 2 : Créer les données

Ensuite, nous allons créer un DataFrame pandas qui contient deux variables prédictives, x ₁ et x ₂ , et une seule variable de réponse y.

df = pd.DataFrame({'y': [6, 8, 12, 14, 14, 15, 17, 22, 24, 23],
                   'x1': [2, 5, 4, 3, 4, 6, 7, 5, 8, 9],
                   'x2': [14, 12, 12, 13, 7, 8, 7, 4, 6, 5]})

Étape 3 : Effectuer la validation croisée K-Fold

Ensuite, nous ajusterons un modèle de régression linéaire multiple à l’ensemble de données et effectuerons LOOCV pour évaluer les performances du modèle.

#define predictor and response variables
X = df[['x1', 'x2']]
y = df['y']

#define cross-validation method to use
cv = KFold(n_splits=10, random_state=1, shuffle=True)

#build multiple linear regression model
model = LinearRegression()

#use k-fold CV to evaluate model
scores = cross_val_score(model, X, y, scoring='neg_mean_absolute_error',
                         cv=cv, n_jobs=-1)

#view mean absolute error
mean(absolute(scores))

3.6141267491803646

À partir du résultat, nous pouvons voir que l’erreur absolue moyenne (MAE) était de 3,614 . Autrement dit, l’erreur absolue moyenne entre la prédiction du modèle et les données réellement observées est de 3,614.

En général, plus le MAE est faible, plus un modèle est capable de prédire les observations réelles.

Une autre mesure couramment utilisée pour évaluer les performances du modèle est l’erreur quadratique moyenne (RMSE). Le code suivant montre comment calculer cette métrique à l’aide de LOOCV :

#define predictor and response variables
X = df[['x1', 'x2']]
y = df['y']

#define cross-validation method to use
cv = KFold(n_splits=5, random_state=1, shuffle=True) 

#build multiple linear regression model
model = LinearRegression()

#use LOOCV to evaluate model
scores = cross_val_score(model, X, y, scoring='neg_mean_squared_error',
                         cv=cv, n_jobs=-1)

#view RMSE
sqrt(mean(absolute(scores)))

4.284373111711816

À partir du résultat, nous pouvons voir que l’erreur quadratique moyenne (RMSE) était de 4,284 .

Plus le RMSE est bas, plus un modèle est capable de prédire les observations réelles.

En pratique, nous ajustons généralement plusieurs modèles différents et comparons le RMSE ou le MAE de chaque modèle pour décider quel modèle produit les taux d’erreur de test les plus faibles et est donc le meilleur modèle à utiliser.

Notez également que dans cet exemple, nous avons choisi d’utiliser k=5 plis, mais vous pouvez choisir le nombre de plis que vous souhaitez.

En pratique, nous choisissons généralement entre 5 et 10 plis, car cela s’avère être le nombre optimal de plis qui produit des taux d’erreur de test fiables.

Vous pouvez trouver la documentation complète de la fonction KFold() de sklearn ici .

Ressources additionnelles

Une introduction à la validation croisée K-Fold
Un guide complet de la régression linéaire en Python
Validation croisée Leave-One-Out en Python