Qu’est-ce que la statistique PRESSE ?

En statistiques, nous ajustons des modèles de régression pour deux raisons :

(1) Expliquer la relation entre une ou plusieurs variables explicatives et une variable de réponse .

(2) Prédire les valeurs d’une variable de réponse sur la base des valeurs d’une ou plusieurs variables explicatives.

Lorsque notre objectif est de (2) prédire les valeurs d’une variable de réponse, nous voulons nous assurer que nous utilisons le meilleur modèle de régression possible pour ce faire.

Une métrique que nous pouvons utiliser pour trouver le modèle de régression qui fera les meilleures prédictions sur les nouvelles données est la statistique PRESS , qui signifie « somme résiduelle prédite des carrés ».

Il est calculé comme suit :

APPUYEZ = Σ(e _i / (1-h _ii )) ²

où:

• e _i : Le i ^ème résidu.
• h _ii : Une mesure de l’influence (également appelée « effet de levier ») de la ^ième observation sur l’ajustement du modèle.

Étant donné plusieurs modèles de régression, celui avec le PRESS le plus faible doit être sélectionné comme celui qui fonctionnera le mieux sur un nouvel ensemble de données.

L’exemple suivant montre comment calculer la statistique PRESS pour trois modèles de régression linéaire différents dans R.

Exemple : Calcul de la statistique PRESS

Supposons que nous ayons un ensemble de données avec trois variables explicatives, x ₁ , x ₂ et x ₃ , et une variable de réponse y :

data <- data.frame(x1 = c(2, 3, 3, 4, 4, 6, 8, 9, 9, 9),
                   x2 = c(2, 2, 3, 3, 2, 3, 5, 6, 6, 7),
                   x3 = c(12, 14, 14, 13, 8, 8, 9, 14, 11, 7),
                    y = c(23, 24, 15, 9, 14, 17, 22, 26, 34, 35))

Le code suivant montre comment adapter trois modèles de régression différents à cet ensemble de données à l’aide de la fonction lm() :

model1 <- lm(y~x1, data=data)

model2 <- lm(y~x1+x2, data=data)

model3 <- lm(y~x2+x3, data=data)

Le code suivant montre comment calculer la statistique PRESS pour chaque modèle.

#create custom function to calculate the PRESS statistic
PRESS <- function(model) {
    i <- residuals(model)/(1 - lm.influence(model)$hat)
    sum(i^2)
}

#calculate PRESS for model 1
PRESS(model1)

[1] 590.2197

#calculate PRESS for model 2
PRESS(model2)

[1] 519.6435

#calculate PRESS for model 3
PRESS(model3)

[1] 537.7503

Il s’avère que le modèle avec la statistique PRESS la plus basse est le modèle 2 avec une statistique PRESS de 519,6435 . Ainsi, nous choisirions ce modèle comme étant le mieux adapté pour faire des prédictions sur un nouvel ensemble de données.

Ressources additionnelles

Introduction à la régression linéaire simple
Qu’est-ce qu’un modèle parcimonieux ?
Qu’est-ce qu’une bonne valeur R au carré ?