Comment gérer R Avertissement : glm.fit : l’algorithme n’a pas convergé

Un avertissement courant que vous pouvez rencontrer dans R est :

glm.fit: algorithm did not converge

Cet avertissement se produit souvent lorsque vous tentez d’ajuster un modèle de régression logistique dans R et que vous constatez une séparation parfaite , c’est-à-dire qu’une variable prédictive est capable de séparer parfaitement la variable de réponse en 0 et en 1.

L’exemple suivant montre comment gérer cet avertissement dans la pratique.

Comment reproduire l’avertissement

Supposons que nous essayions d’adapter le modèle de régression logistique suivant dans R :

#create data frame
df <- data.frame(x=c(.1, .2, .3, .4, .5, .6, .7, .8, .9, 1, 1, 1.1, 1.3, 1.5, 1.7),
                 y=c(0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1))

#attempt to fit logistic regression model
glm(y~x, data=df, family="binomial")

Call:  glm(formula = y ~ x, family = "binomial", data = df)

Coefficients:
(Intercept)            x  
     -409.1        431.1  

Degrees of Freedom: 14 Total (i.e. Null);  13 Residual
Null Deviance:	    20.19 
Residual Deviance: 2.468e-09 	AIC: 4
Warning messages:
1: glm.fit: algorithm did not converge 
2: glm.fit: fitted probabilities numerically 0 or 1 occurred 

Notez que nous recevons le message d’avertissement : glm.fit: algorithm did not converge .

Nous recevons ce message car la variable prédictive x est capable de séparer parfaitement la variable de réponse y en 0 et 1.

Notez que pour chaque valeur x inférieure à 1, y est égal à 0. Et pour chaque valeur x égale ou supérieure à 1, y est égal à 1.

Le code suivant montre un scénario dans lequel la variable prédictive n’est pas capable de séparer parfaitement la variable de réponse en 0 et 1 :

#create data frame
df <- data.frame(x=c(.1, .2, .3, .4, .5, .6, .7, .8, .9, 1, 1, 1.1, 1.3, 1.5, 1.7),
                 y=c(0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1))

#fit logistic regression model
glm(y~x, data=df, family="binomial")

Call:  glm(formula = y ~ x, family = "binomial", data = df)

Coefficients:
(Intercept)            x  
     -2.112        2.886  

Degrees of Freedom: 14 Total (i.e. Null);  13 Residual
Null Deviance:	    20.73 
Residual Deviance: 16.31 	AIC: 20.31

Nous ne recevons aucun message d’avertissement car la variable prédictive n’est pas capable de séparer parfaitement la variable de réponse en 0 et 1.

Comment gérer l’avertissement

Si nous rencontrons un scénario de séparation parfaite, il existe deux manières de le gérer :

Méthode 1 : utilisez la régression pénalisée.

Une option consiste à utiliser une forme de régression logistique pénalisée telle que la régression logistique au lasso ou la régularisation à filet élastique.

Reportez-vous au package glmnet pour connaître les options sur la façon d’implémenter la régression logistique pénalisée dans R.

Méthode 2 : utilisez la variable prédictive pour prédire parfaitement la variable de réponse.

Si vous soupçonnez que cette séparation parfaite peut exister dans la population, vous pouvez simplement utiliser cette variable prédictive pour prédire parfaitement la valeur de la variable de réponse.

Par exemple, dans le scénario ci-dessus, nous avons vu que la variable de réponse y était toujours égale à 0 lorsque la variable prédictive x était inférieure à 1.

Si nous soupçonnons que cette relation est valable dans la population globale, nous pouvons toujours prédire que la valeur de y sera égale à 0 lorsque x est inférieur à 1 et ne pas nous soucier d’ajuster un modèle de régression logistique pénalisé.

Ressources additionnelles

Les didacticiels suivants offrent des informations supplémentaires sur l’utilisation de la fonction glm() dans R :

La différence entre glm et lm dans R
Comment utiliser la fonction de prédiction avec glm dans R
Comment gérer : glm.fit : des probabilités ajustées numériquement 0 ou 1 se sont produites