Как получить сводную информацию о модели регрессии из scikit-learn

Часто вам может потребоваться получить сводную информацию о регрессионной модели, созданной с помощью scikit-learn в Python.

К сожалению, scikit-learn не предлагает множество встроенных функций для анализа сводной информации о регрессионной модели, поскольку обычно используется только в целях прогнозирования .

Итак, если вы хотите получить сводную информацию о модели регрессии на Python, у вас есть два варианта:

1. Используйте ограниченные функции scikit-learn.

2. Вместо этого используйте статистические модели .

В следующих примерах показано, как использовать каждый метод на практике со следующим DataFrame pandas:

 import pandas as pd

#createDataFrame
df = pd. DataFrame ({' x1 ': [1, 2, 2, 4, 2, 1, 5, 4, 2, 4, 4],
                   ' x2 ': [1, 3, 3, 5, 2, 2, 1, 1, 0, 3, 4],
                   ' y ': [76, 78, 85, 88, 72, 69, 94, 94, 88, 92, 90]})

#view first five rows of DataFrame
df. head ()

       x1 x2 y
0 1 1 76
1 2 3 78
2 2 3 85
3 4 5 88
4 2 2 72

Метод 1: получить сводную информацию о модели регрессии из Scikit-Learn

Мы можем использовать следующий код, чтобы подогнать модель множественной линейной регрессии с помощью scikit-learn:

 from sklearn. linear_model import LinearRegression

#initiate linear regression model
model = LinearRegression()

#define predictor and response variables
x, y = df[[' x1 ', ' x2 ']], df. y

#fit regression model
model. fit (x,y)

Затем мы можем использовать следующий код для извлечения коэффициентов регрессии из модели, а также значения R-квадрата модели:

 #display regression coefficients and R-squared value of model
print (model. intercept_ , model. coef_ , model. score (X, y))

70.4828205704 [5.7945 -1.1576] 0.766742556527

Используя этот вывод, мы можем написать уравнение для подобранной регрессионной модели:

у = 70,48 + 5,79х ₁ – 1,16х ₂

Также можно видеть, что значение R ² модели составляет 76,67.

Это означает, что 76,67% вариаций переменной отклика можно объяснить двумя переменными-предикторами в модели.

Хотя этот результат полезен, мы все еще не знаем общую F-статистику модели, p-значения отдельных коэффициентов регрессии и другие полезные показатели, которые могут помочь нам понять, насколько хорошо модель соответствует модели. набор данных.набор данных.

Способ 2. Получите сводную информацию о модели регрессии из Statsmodels.

Если вы хотите получить сводную информацию о модели регрессии в Python, лучше всего использовать пакет statsmodels .

Следующий код показывает, как использовать этот пакет для соответствия той же модели множественной линейной регрессии, что и в предыдущем примере, и извлечь сводную информацию о модели:

 import statsmodels. api as sm

#define response variable
y = df[' y ']

#define predictor variables
x = df[[' x1 ', ' x2 ']]

#add constant to predictor variables
x = sm. add_constant (x)

#fit linear regression model
model = sm. OLS (y,x). fit ()

#view model summary
print ( model.summary ())

                            OLS Regression Results                            
==================================================== ============================
Dept. Variable: y R-squared: 0.767
Model: OLS Adj. R-squared: 0.708
Method: Least Squares F-statistic: 13.15
Date: Fri, 01 Apr 2022 Prob (F-statistic): 0.00296
Time: 11:10:16 Log-Likelihood: -31.191
No. Comments: 11 AIC: 68.38
Df Residuals: 8 BIC: 69.57
Df Model: 2                                         
Covariance Type: non-robust                                         
==================================================== ============================
                 coef std err t P>|t| [0.025 0.975]
-------------------------------------------------- ----------------------------
const 70.4828 3.749 18.803 0.000 61.839 79.127
x1 5.7945 1.132 5.120 0.001 3.185 8.404
x2 -1.1576 1.065 -1.087 0.309 -3.613 1.298
==================================================== ============================
Omnibus: 0.198 Durbin-Watson: 1.240
Prob(Omnibus): 0.906 Jarque-Bera (JB): 0.296
Skew: -0.242 Prob(JB): 0.862
Kurtosis: 2.359 Cond. No. 10.7
==================================================== ============================

Обратите внимание, что коэффициенты регрессии и значение R-квадрата совпадают с рассчитанными с помощью scikit-learn, но у нас также есть масса других полезных показателей для модели регрессии.

Например, мы можем увидеть p-значения для каждой отдельной предикторной переменной:

• p-значение для x ₁ = 0,001
• p-значение для x ₂ = 0,309

Мы также можем увидеть общую F-статистику модели, скорректированное значение R-квадрата , значение AIC модели и многое другое.

Дополнительные ресурсы

В следующих руководствах объясняется, как выполнять другие распространенные операции в Python:

Как выполнить простую линейную регрессию в Python
Как выполнить множественную линейную регрессию в Python
Как рассчитать AIC регрессионных моделей в Python