Как справиться: glm.fit: произошли численно скорректированные вероятности 0 или 1.

Предупреждающее сообщение, которое вы можете встретить в R:

 Warning message:
glm.fit: fitted probabilities numerically 0 or 1 occurred 

Это предупреждение появляется, когда вы подбираете модель логистической регрессии, и прогнозируемые вероятности одного или нескольких наблюдений в вашей базе данных не могут отличаться от 0 или 1.

Обратите внимание, что это предупреждение , а не ошибка. Даже если вы получите эту ошибку, ваша модель логистической регрессии все равно подойдет, но может быть полезно проанализировать исходный фрейм данных, чтобы увидеть, есть ли какие-либо выбросы, вызывающие появление этого предупреждающего сообщения.

В этом руководстве объясняется, как на практике справиться с этим предупреждающим сообщением.

Как воспроизвести предупреждение

Предположим, мы подгоняем модель логистической регрессии к следующему фрейму данных в R:

 #create data frame
df <- data. frame (y = c(0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1),
                 x1 = c(3, 3, 4, 4, 3, 2, 5, 8, 9, 9, 9, 8, 9, 9, 9),
                 x2 = c(8, 7, 7, 6, 5, 6, 5, 2, 2, 3, 4, 3, 7, 4, 4))

#fit logistic regression model
model <- glm(y ~ x1 + x2, data=df, family=binomial)

#view model summary
summary(model)

Warning message:
glm.fit: fitted probabilities numerically 0 or 1 occurred 

Call:
glm(formula = y ~ x1 + x2, family = binomial, data = df)

Deviance Residuals: 
       Min 1Q Median 3Q Max  
-1.729e-05 -2.110e-08 2.110e-08 2.110e-08 1.515e-05  

Coefficients:
              Estimate Std. Error z value Pr(>|z|)
(Intercept) -75.205 307338.933 0 1
x1 13,309 28512,818 0 1
x2 -2.793 37342.280 0 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 2.0728e+01 on 14 degrees of freedom
Residual deviance: 5.6951e-10 on 12 degrees of freedom
AIC: 6

Number of Fisher Scoring iterations: 24

Наша модель логистической регрессии успешно соответствует данным, но мы получаем предупреждающее сообщение, которое численно корректирует вероятности до 0 или 1 .

Если мы используем подобранную модель логистической регрессии для прогнозирования значения ответа наблюдений в исходной базе данных, мы увидим, что почти все прогнозируемые вероятности неотличимы от 0 и 1:

 #use fitted model to predict response values
df$y_pred = predict(model, df, type=" response ")

#view updated data frame
df

   y x1 x2 y_pred
1 0 3 8 2.220446e-16
2 0 3 7 2.220446e-16
3 0 4 7 2.220446e-16
4 0 4 6 2.220446e-16
5 0 3 5 2.220446e-16
6 0 2 6 2.220446e-16
7 0 5 5 1.494599e-10
8 1 8 2 1.000000e+00
9 1 9 2 1.000000e+00
10 1 9 3 1.000000e+00
11 1 9 4 1.000000e+00
12 1 8 3 1.000000e+00
13 1 9 7 1.000000e+00
14 1 9 4 1.000000e+00
15 1 9 4 1.000000e+00

Как справиться с предупреждением

Существует три способа обработки этого предупреждающего сообщения:

(1) Не обращайте на это внимания.

В некоторых случаях вы можете просто игнорировать это предупреждающее сообщение, поскольку оно не обязательно указывает на наличие проблемы с моделью логистической регрессии. Это просто означает, что одно или несколько наблюдений в кадре данных имеют предсказанные значения, неотличимые от 0 или 1.

(2) Увеличить размер выборки.

В других случаях это предупреждающее сообщение появляется при работе с небольшими блоками данных, для которых просто недостаточно данных для надежного подбора модели. Чтобы исправить эту ошибку, просто увеличьте размер выборки наблюдений, которые вы вводите в модель.

(3) Удалите выбросы.

В других случаях эта ошибка возникает, когда в исходной базе данных есть выбросы и лишь небольшое количество наблюдений имеют вероятности, близкие к 0 или 1. При удалении этих выбросов предупреждающее сообщение часто исчезает.

Дополнительные ресурсы

В следующих руководствах объясняется, как обрабатывать другие предупреждения и ошибки в R:

Как исправить в R: неверная формула шаблона в ExtractVars
Как исправить в R: аргумент не является ни числовым, ни логическим: return na
Как исправить: randomForest.default(m, y,…): Na/NaN/Inf при вызове внешней функции