회귀 기울기의 표준 오차 이해

회귀 기울기의 표준 오차는 회귀 기울기를 추정할 때 “불확실성”을 측정하는 방법입니다.

다음과 같이 계산됩니다.

금:

• n : 총 표본 크기
• y _i : 응답변수의 실제값
• ŷ _i : 반응변수의 예측값
• x _i : 예측변수의 실제값
• x̄ : 예측변수의 평균값

표준 오차가 작을수록 회귀 기울기에 대한 계수 추정치 주변의 변동성이 낮아집니다.

회귀 기울기의 표준 오차는 대부분의 통계 소프트웨어 회귀 출력의 “표준 오차” 열에 표시됩니다.

다음 예는 두 가지 시나리오에서 회귀 기울기의 표준 오차를 해석하는 방법을 보여줍니다.

예 1: 회귀 기울기의 작은 표준 오차 해석

교수가 수업 시간과 학생의 최종 시험 성적 사이의 관계를 이해하고 싶어한다고 가정해 보겠습니다.

25명의 학생에 대한 데이터를 수집하고 다음과 같은 산점도를 만듭니다.

두 변수 사이에는 분명히 긍정적인 연관성이 있습니다. 공부한 시간이 늘어날수록 시험 점수는 상당히 예측 가능한 속도로 높아집니다.

그런 다음 그는 학습 시간을 예측 변수로 사용하고 최종 시험 성적을 반응 변수로 사용하여 간단한 선형 회귀 모델을 적합했습니다.

다음 표는 회귀 결과를 보여줍니다.

예측 변수 “학습 시간”의 계수는 5.487입니다. 이는 공부한 시간이 추가될 때마다 시험 점수가 평균 5,487 점 증가하는 것과 관련이 있음을 알려줍니다.

표준 오차는 0.419 이며, 이는 회귀 기울기에 대한 이 추정치 주변의 가변성 측정값을 나타냅니다.

이 값을 사용하여 예측 변수 “공부 시간”에 대한 t-통계량을 계산할 수 있습니다.

• t 통계량 = 계수 추정치 / 표준 오차
• t-통계량 = 5.487 / 0.419
• t-통계량 = 13.112

이 검정 통계량에 해당하는 p-값은 0.000으로, 이는 “공부한 시간”이 최종 시험 성적과 통계적으로 유의미한 관계가 있음을 나타냅니다.

회귀 기울기의 표준 오차는 회귀 기울기의 계수 추정치에 비해 작았기 때문에 예측 변수는 통계적으로 유의했습니다.

예 2: 회귀 기울기의 큰 표준 오차 해석

다른 교수가 수업 시간과 학생의 최종 시험 성적 사이의 관계를 이해하고 싶어한다고 가정해 보겠습니다.

그녀는 25명의 학생에 대한 데이터를 수집하고 다음과 같은 산점도를 만듭니다.

두 변수 사이에는 약간의 긍정적인 연관성이 있는 것으로 보입니다. 공부 시간이 늘어날수록 시험 점수는 일반적으로 올라가지만 예측 가능한 속도는 아닙니다.

그런 다음 교수가 학습 시간을 예측 변수로 사용하고 최종 시험 성적을 응답 변수로 사용하여 간단한 선형 회귀 모델을 적합하다고 가정합니다.

다음 표는 회귀 결과를 보여줍니다.

예측 변수 “학습 시간”의 계수는 1.7919입니다. 이는 공부한 시간이 추가될 때마다 시험 점수가 평균 1.7919 증가하는 것과 관련이 있음을 알려줍니다.

표준 오차는 1.0675 이며, 이는 회귀 기울기에 대한 이 추정치 주변의 변동성을 측정한 것입니다.

이 값을 사용하여 예측 변수 “공부 시간”에 대한 t-통계량을 계산할 수 있습니다.

• t 통계량 = 계수 추정치 / 표준 오차
• t-통계량 = 1.7919 / 1.0675
• t-통계량 = 1.678

이 검정 통계량에 해당하는 p-값은 0.107입니다. 이 p-값은 0.05 이상이므로 ‘공부시간’은 기말고사 성적과 통계적으로 유의미한 관계가 없음을 나타냅니다.

회귀 기울기의 표준 오차는 회귀 기울기의 계수 추정치에 비해 크기 때문에 예측 변수는 통계적으로 유의 하지 않았습니다 .

추가 리소스

단순 선형 회귀 소개
다중 선형 회귀 소개
회귀표를 읽고 해석하는 방법