Как рассчитать sst, ssr и sse в python

Мы часто используем три разные суммы квадратов , чтобы измерить, насколько хорошо линия регрессии соответствует набору данных:

1. Сумма общих квадратов (SST) – сумма квадратов разностей между отдельными точками данных (y _i ) и средним значением переменной ответа ( y ).

• SST = Σ(y _i – y ) ²

2. Регрессия суммы квадратов (SSR) – сумма квадратов разностей между прогнозируемыми точками данных (ŷ _i ) и средним значением переменной ответа ( y ).

• ССР = Σ(ŷ _i – y ) ²

3. Ошибка суммы квадратов (SSE) – сумма квадратов разностей между прогнозируемыми точками данных (ŷ _i ) и наблюдаемыми точками данных (y _i ).

• SSE = Σ(ŷ _i – y _i ) ²

В следующем пошаговом примере показано, как вычислить каждую из этих метрик для заданной модели регрессии в Python.

Шаг 1. Создайте данные

Во-первых, давайте создадим набор данных, содержащий количество учебных часов и результаты экзаменов, полученные 20 разными студентами данного университета:

 import pandas as pd

#create pandas DataFrame
df = pd. DataFrame ({' hours ': [1, 1, 1, 2, 2, 2, 2, 2, 3, 3,
                             3, 4, 4, 4, 5, 5, 6, 7, 7, 8],
                   ' score ': [68, 76, 74, 80, 76, 78, 81, 84, 86, 83,
                             88, 85, 89, 94, 93, 94, 96, 89, 92, 97]})

#view first five rows of DataFrame
df. head ()

	hours score
0 1 68
1 1 76
2 1 74
3 2 80
4 2 76

Шаг 2. Подберите регрессионную модель

Далее мы воспользуемся функцией OLS() из библиотеки statsmodels , чтобы подогнать простую модель линейной регрессии, используя оценку в качестве переменной ответа и часы в качестве переменной-предиктора:

 import statsmodels. api as sm

#define response variable
y = df[' score ']

#define predictor variable
x = df[[' hours ']]

#add constant to predictor variables
x = sm. add_constant (x)

#fit linear regression model
model = sm. OLS (y,x). fit ()

Шаг 3. Рассчитайте SST, SSR и SSE.

Наконец, мы можем использовать следующие формулы для расчета значений SST, SSR и SSE модели:

 import numpy as np

#calculate
sse = np. sum ((model. fitted values - df. score ) ** 2)
print (sse)

331.07488479262696

#calculate ssr
ssr = np. sum ((model. fitted values - df. score . mean ()) ** 2)
print (ssr)

917.4751152073725

#calculate sst
sst = ssr + sse
print (sst)

1248.5499999999995

Метрики оказываются такими:

• Общая сумма квадратов (SST): 1248,55
• Регрессия суммы квадратов (SSR): 917,4751
• Ошибка суммы квадратов (SSE): 331,0749.

Мы можем проверить, что SST = SSR + SSE:

• ССТ = ССР + ССЕ
• 1248,55 = 917,4751 + 331,0749

Дополнительные ресурсы

Вы можете использовать следующие калькуляторы для автоматического расчета SST, SSR и SSE для любой простой линии линейной регрессии:

• Калькулятор ССТ
• RSS-калькулятор
• Калькулятор ЕСС

В следующих руководствах объясняется, как рассчитать SST, SSR и SSE в другом статистическом программном обеспечении:

• Как рассчитать SST, SSR и SSE в R
• Как рассчитать SST, SSR и SSE в Excel