Validation croisée Leave-One-Out en Python (avec exemples)

Pour évaluer les performances d’un modèle sur un ensemble de données, nous devons mesurer dans quelle mesure les prédictions faites par le modèle correspondent aux données observées.

Une méthode couramment utilisée pour ce faire est connue sous le nom de validation croisée Leave-One-Out (LOOCV) , qui utilise l’approche suivante :

1. Divisez un ensemble de données en un ensemble de formation et un ensemble de test, en utilisant toutes les observations sauf une dans le cadre de l’ensemble de formation.

2. Créez un modèle en utilisant uniquement les données de l’ensemble de formation.

3. Utilisez le modèle pour prédire la valeur de réponse de l’observation exclue du modèle et calculez l’erreur quadratique moyenne (MSE).

4. Répétez ce processus n fois. Calculez le MSE du test comme étant la moyenne de tous les MSE du test.

Ce didacticiel fournit un exemple étape par étape de la façon d’exécuter LOOCV pour un modèle donné en Python.

Étape 1 : Charger les bibliothèques nécessaires

Tout d’abord, nous allons charger les fonctions et bibliothèques nécessaires pour cet exemple :

from sklearn.model_selection import train_test_split
from sklearn.model_selection import LeaveOneOut
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import LinearRegression
from numpy import mean
from numpy import absolute
from numpy import sqrt
import pandas as pd

Étape 2 : Créer les données

Ensuite, nous allons créer un DataFrame pandas qui contient deux variables prédictives, x ₁ et x ₂ , et une seule variable de réponse y.

df = pd.DataFrame({'y': [6, 8, 12, 14, 14, 15, 17, 22, 24, 23],
                   'x1': [2, 5, 4, 3, 4, 6, 7, 5, 8, 9],
                   'x2': [14, 12, 12, 13, 7, 8, 7, 4, 6, 5]})

Étape 3 : Effectuer une validation croisée Leave-One-Out

Ensuite, nous ajusterons un modèle de régression linéaire multiple à l’ensemble de données et effectuerons LOOCV pour évaluer les performances du modèle.

#define predictor and response variables
X = df[['x1', 'x2']]
y = df['y']

#define cross-validation method to use
cv = LeaveOneOut()

#build multiple linear regression model
model = LinearRegression()

#use LOOCV to evaluate model
scores = cross_val_score(model, X, y, scoring='neg_mean_absolute_error',
                         cv=cv, n_jobs=-1)

#view mean absolute error
mean(absolute(scores))

3.1461548083469726

À partir du résultat, nous pouvons voir que l’erreur absolue moyenne (MAE) était de 3,146 . Autrement dit, l’erreur absolue moyenne entre la prédiction du modèle et les données réellement observées est de 3,146.

En général, plus le MAE est faible, plus un modèle est capable de prédire les observations réelles.

Une autre mesure couramment utilisée pour évaluer les performances du modèle est l’erreur quadratique moyenne (RMSE). Le code suivant montre comment calculer cette métrique à l’aide de LOOCV :

#define predictor and response variables
X = df[['x1', 'x2']]
y = df['y']

#define cross-validation method to use
cv = LeaveOneOut()

#build multiple linear regression model
model = LinearRegression()

#use LOOCV to evaluate model
scores = cross_val_score(model, X, y, scoring='neg_mean_squared_error',
                         cv=cv, n_jobs=-1)

#view RMSE
sqrt(mean(absolute(scores)))

3.619456476385567

À partir du résultat, nous pouvons voir que l’erreur quadratique moyenne (RMSE) était de 3,619 . Plus le RMSE est bas, plus un modèle est capable de prédire les observations réelles.

En pratique, nous ajustons généralement plusieurs modèles différents et comparons le RMSE ou le MAE de chaque modèle pour décider quel modèle produit les taux d’erreur de test les plus faibles et est donc le meilleur modèle à utiliser.

Ressources additionnelles

Une introduction rapide à la validation croisée Leave-One-Out (LOOCV)
Un guide complet de la régression linéaire en Python