Comment utiliser regsubsets() dans R pour la sélection de modèle

Vous pouvez utiliser la fonction regsubsets() du package leaps dans R pour trouver le sous-ensemble de variables prédictives qui produit le meilleur modèle de régression.

L’exemple suivant montre comment utiliser cette fonction dans la pratique.

Exemple : utilisation de regsubsets() pour la sélection de modèle dans R

Pour cet exemple, nous utiliserons l’ensemble de données mtcars intégré dans R, qui contient des mesures sur 11 attributs différents pour 32 voitures différentes.

#view first six rows of mtcars dataset
head(mtcars)

                   mpg cyl disp  hp drat    wt  qsec vs am gear carb
Mazda RX4         21.0   6  160 110 3.90 2.620 16.46  0  1    4    4
Mazda RX4 Wag     21.0   6  160 110 3.90 2.875 17.02  0  1    4    4
Datsun 710        22.8   4  108  93 3.85 2.320 18.61  1  1    4    1
Hornet 4 Drive    21.4   6  258 110 3.08 3.215 19.44  1  0    3    1
Hornet Sportabout 18.7   8  360 175 3.15 3.440 17.02  0  0    3    2
Valiant           18.1   6  225 105 2.76 3.460 20.22  1  0    3    1

Supposons que nous souhaitions ajuster un modèle de régression utilisant hp comme variable de réponse et les variables prédictives potentielles suivantes :

• mpg
• poids
• merde
• qsec

Nous pouvons utiliser la fonction regsubsets() du package leaps pour effectuer une recherche exhaustive afin de trouver le meilleur modèle de régression :

library(leaps)

#find best regression model
bestSubsets <- regsubsets(hp ~ mpg + wt + drat + qsec, data=mtcars)

#view results
summary(bestSubsets)

Subset selection object
Call: regsubsets.formula(hp ~ mpg + wt + drat + qsec, data = mtcars)
4 Variables  (and intercept)
     Forced in Forced out
mpg      FALSE      FALSE
wt       FALSE      FALSE
drat     FALSE      FALSE
qsec     FALSE      FALSE
1 subsets of each size up to 4
Selection Algorithm: exhaustive
         mpg wt  drat qsec
1  ( 1 ) "*" " " " "  " " 
2  ( 1 ) " " "*" " "  "*" 
3  ( 1 ) "*" "*" " "  "*" 
4  ( 1 ) "*" "*" "*"  "*" 

Les étoiles ( * ) au bas du résultat indiquent quelles variables prédictives appartiennent au meilleur modèle de régression pour chaque modèle possible avec un nombre différent de variables prédictives.

Voici comment interpréter le résultat :

Pour un modèle avec une seule variable prédictive, le meilleur modèle de régression est produit en utilisant mpg comme variable prédictive.

Pour un modèle avec deux variables prédictives, le meilleur modèle de régression est produit en utilisant wt et qsec comme variables prédictives.

Pour un modèle avec trois variables prédictives, le meilleur modèle de régression est produit en utilisant mpg , wt et qsec comme variables prédictives.

Pour un modèle avec quatre variables prédictives, le meilleur modèle de régression est produit en utilisant mpg , wt , drat et qsec comme variables prédictives.

Notez que vous pouvez également extraire les métriques suivantes pour chaque modèle :

• rsq : la valeur r au carré pour chaque modèle
• RSS : La somme des carrés résiduelle pour chaque modèle
• adjr2 : La valeur r-carré ajustée pour chaque modèle
• cp : Cp de Mallows pour chaque modèle
• bic : La valeur BIC pour chaque modèle

Par exemple, nous pouvons utiliser la syntaxe suivante pour extraire la valeur R au carré ajustée pour chacun des quatre meilleurs modèles :

#view adjusted R-squared value of each model
summary(bestSubsets)$adjr2

[1] 0.5891853 0.7828169 0.7858829 0.7787005

À partir du résultat, nous pouvons voir :

• La valeur R-carré ajustée pour le modèle avec mpg comme variable prédictive est de 0,589 .
• La valeur R au carré ajustée pour le modèle avec wt et qsec comme variables prédictives est de 0,783 .
• La valeur R au carré ajustée pour le modèle avec mp g , wt et qsec comme variables prédictives est de 0,786 .
• La valeur R au carré ajustée pour le modèle avec mpg , wt , drat et qsec comme variables prédictives est de 0,779 .

Ces valeurs nous donnent une idée de la capacité de l’ensemble de variables prédictives à prédire la valeur de la variable de réponse, ajustée en fonction du nombre de variables prédictives dans le modèle.

Ressources additionnelles

Les didacticiels suivants expliquent comment effectuer d’autres tâches courantes dans R :

Comment effectuer une régression linéaire multiple dans R
Comment effectuer une régression par morceaux dans R
Comment effectuer une régression spline dans R