회귀표를 읽고 해석하는 방법

통계에서 회귀는 예측 변수와 반응 변수 간의 관계를 분석하는 데 사용할 수 있는 기술입니다.

소프트웨어(R, SAS, SPSS 등)를 사용하여 회귀 분석을 수행하면 회귀 결과를 요약한 회귀 테이블이 출력으로 수신됩니다. 회귀 분석 결과를 이해하려면 이 표를 어떻게 읽는지 아는 것이 중요합니다.

이 튜토리얼에서는 회귀 분석의 예를 보여주고 회귀 테이블의 결과를 읽고 해석하는 방법에 대한 자세한 설명을 제공합니다.

회귀의 예

12명의 학생에 대한 총 학습 시간, 총 준비 시험 수, 최종 시험 성적을 보여주는 다음 데이터 세트가 있다고 가정합니다.

학생이 획득한 최종 시험 성적을 기준으로 학습 시간과 준비 시험 간의 관계를 분석하기 위해 학습 시간 과 준비 시험을 예측 변수로 사용 하고 시험 중인 최종 성적을 반응 변수로 사용하여 다중 선형 회귀 분석을 수행했습니다.

우리는 다음과 같은 결과를 얻습니다:

모델 적합성 검사

첫 번째 섹션에는 회귀 모델 적합도, 즉 회귀 모델이 데이터 세트에 얼마나 잘 “적합”할 수 있는지를 측정하는 여러 가지 숫자가 표시됩니다.

이 섹션의 각 숫자를 해석하는 방법은 다음과 같습니다.

몇 루피

이것이 상관계수 이다. 예측 변수와 반응 변수 사이의 선형 관계의 강도를 측정합니다. R 배수 1은 완벽한 선형 관계를 나타내고, R 배수 0은 선형 관계가 없음을 나타냅니다. 배수 R은 R 제곱의 제곱근입니다(아래 참조).

이 예에서 배수 R은 0.72855 로, 학습 시간 과 예측 변수의 준비 시험 , 반응 변수의 최종 시험 성적 사이에 상당히 강한 선형 관계가 있음을 나타냅니다.

R 제곱

이는 종종 ^r2 로 표기되며 결정 계수 라고도 알려져 있습니다. 이는 예측 변수로 설명할 수 있는 반응 변수의 분산 비율입니다.

R-제곱 값의 범위는 0에서 1까지입니다. 값 0은 반응 변수가 예측 변수로 전혀 설명될 수 없음을 나타냅니다. 값 1은 반응 변수가 예측 변수에 의해 오류 없이 완벽하게 설명될 수 있음을 나타냅니다.

이 예에서 R-제곱은 0.5307입니다 . 이는 최종 시험 점수의 분산 중 53.07%가 학습 시간과 지난 연습 시험 횟수로 설명될 수 있음을 나타냅니다.

관련 항목: 좋은 R 제곱 값이란 무엇입니까?

조정된 R-제곱

이는 모델의 예측변수 수에 따라 조정된 R-제곱의 수정된 버전입니다. 항상 R 제곱보다 작습니다. 조정된 R-제곱은 서로 다른 회귀 모델의 적합성을 서로 비교하는 데 유용할 수 있습니다.

이 예에서 수정된 R-제곱은 0.4265입니다.

회귀의 표준 오류

회귀의 표준 오차는 관찰된 값과 회귀선 사이의 평균 거리입니다. 이 예에서 관측값은 회귀선에서 평균 7.3267 단위만큼 벗어납니다.

관련 항목: 회귀 표준 오류 이해

코멘트

이는 단순히 데이터 세트의 관측치 수입니다. 이 예에서 총 관측값 수는 12개입니다 .

회귀 모델의 전반적인 중요성 테스트

다음 섹션에서는 회귀 모델의 자유도, 제곱합, 평균 제곱, F 통계 및 전반적인 유의성을 보여줍니다.

이 섹션의 각 숫자를 해석하는 방법은 다음과 같습니다.

회귀 자유도

이 숫자는 다음과 같습니다: 회귀 계수의 수 – 1. 이 예에서는 원래 항과 두 개의 예측 변수가 있으므로 총 3개의 회귀 계수가 있습니다. 이는 회귀 자유도가 3 – 1임을 의미합니다. = 2 .

총 자유도

이 숫자는 관측치 수 – 1과 같습니다. 이 예에서는 관측치가 12개이므로 총 자유도 수는 12 – 1 = 11 입니다 .

잔여 자유도

이 숫자는 총 df – 회귀 df와 같습니다. 이 예에서 잔차 자유도는 11 – 2 = 9 입니다.

평균 제곱

회귀 평균 제곱은 SS 회귀/df 회귀로 계산됩니다. 이 예에서 회귀 MS = 546.53308 / 2 = 273.2665 입니다 .

잔차 평균 제곱은 잔차 SS/잔차 df로 계산됩니다. 이 예에서는 잔차 MS = 483.1335 / 9 = 53.68151 입니다 .

F 통계

f 통계는 MS 회귀/MS 잔차로 계산됩니다. 이 통계는 회귀 모델이 독립 변수가 없는 모델보다 데이터에 더 잘 맞는지 여부를 나타냅니다.

기본적으로 회귀 모델 전체가 유용한지 여부를 테스트합니다. 일반적으로 모형의 예측 변수가 통계적으로 유의하지 않은 경우 전체 F 통계량도 통계적으로 유의하지 않습니다.

이 예에서 F 통계량은 273.2665 / 53.68151 = 5.09 입니다 .

F의 중요성(P값)

표의 마지막 값은 F 통계량과 관련된 p-값입니다. 전체 회귀 모델이 유의한지 확인하려면 p-값을 유의 수준과 비교할 수 있습니다. 일반적인 선택은 .01, .05 및 .10입니다.

p-값이 유의 수준보다 낮으면 회귀 모델이 예측 변수가 없는 모델보다 데이터에 더 잘 적합하다는 결론을 내릴 수 있는 충분한 증거가 있습니다. 이 결과는 모델의 예측 변수가 실제로 모델의 적합성을 향상시킨다는 것을 의미하므로 긍정적입니다.

이 예에서 p-값은 0.033으로 , 이는 공통 유의 수준인 0.05보다 낮습니다. 이는 회귀 모델 전체가 통계적으로 유의하다는 것을 나타냅니다. 즉, 모델이 예측 변수가 없는 모델보다 데이터에 더 잘 적합하다는 것을 나타냅니다.

회귀 모델의 전반적인 중요성 테스트

마지막 섹션에는 회귀 모델의 각 항에 대한 계수 추정치, 추정치의 표준 오차, t-통계량, p-값 및 신뢰 구간이 나와 있습니다.

이 섹션의 각 숫자를 해석하는 방법은 다음과 같습니다.

계수

계수는 추정 회귀 방정식을 작성하는 데 필요한 숫자를 제공합니다.

y _모자 = b ₀ + b ₁ x ₁ + b ₂ x ₂ .

이 예에서 추정된 회귀 방정식은 다음과 같습니다.

최종 시험 점수 = 66.99 + 1.299(학습 시간) + 1.117(예비 시험)

각 개별 계수는 다른 모든 예측 변수가 일정하게 유지된다는 가정하에 주어진 예측 변수의 각 1단위 증가에 대한 반응 변수의 평균 증가로 해석됩니다. 예를 들어, 응시한 준비 시험 수가 일정하게 유지된다는 가정 하에 공부한 시간이 추가될 때마다 최종 시험 점수의 평균 예상 증가는 1,299점입니다.

절편은 0시간 동안 공부하고 준비 시험을 치르지 않은 학생의 최종 시험에서 예상되는 평균 성적로 해석됩니다. 이 예에서 학생이 0시간 동안 공부하고 준비 시험을 치르지 않는다면 66.99점을 받을 것으로 예상됩니다. 회귀 결과의 절편을 해석할 때 항상 의미가 있는 것은 아니므로 주의하십시오.

예를 들어, 어떤 경우에는 절편이 음수로 판명될 수 있으며 이는 종종 명확한 해석이 없습니다. 이는 모델이 잘못되었다는 의미가 아니라, 가로채기 자체가 아무 의미도 없는 것으로 해석되어서는 안 된다는 의미일 뿐입니다.

표준 오류, t 통계 및 p 값

표준 오차는 각 변수에 대한 계수 추정치 주변의 불확실성을 측정한 것입니다.

t-stat는 단순히 계수를 표준 오차로 나눈 값입니다. 예를 들어 공부 시간 에 대한 t-stat은 1.299 / 0.417 = 3.117입니다.

다음 열은 t-stat와 관련된 p-값을 보여줍니다. 이 숫자는 주어진 반응 변수가 모델에서 중요한지 여부를 알려줍니다. 이 예에서는 학습 시간 에 대한 p-값이 0.012이고 시험 준비 에 대한 p-값이 0.304임을 알 수 있습니다. 이는 연습 시험 과 달리 학습 시간이 최종 시험 성적을 예측하는 중요한 요인임을 나타냅니다.

계수 추정에 대한 신뢰구간

표의 마지막 두 열은 계수 추정값에 대한 95% 신뢰 구간의 하한과 상한을 제공합니다.

예를 들어, 학습 시간 에 대한 계수 추정치는 1.299이지만 이 추정치에는 약간의 불확실성이 있습니다. 이것이 정확한 계수인지는 결코 알 수 없습니다. 따라서 95% 신뢰 구간은 실제 계수에 대한 가능한 값의 범위를 제공합니다.

이 경우 공부시간 에 대한 95% 신뢰구간은 (0.356, 2.24)이다. 이 신뢰 구간에는 숫자 “0”이 포함되어 있지 않습니다. 이는 학습 시간 계수의 실제 값이 0이 아닌 양수임을 완전히 확신한다는 의미입니다.

반면, 수능 대비 95% 신뢰구간은 (-1.201, 3.436)이다. 이 신뢰 구간에는 숫자 “0”이 포함되어 있습니다 . 이는 준비 시험 계수의 실제 값이 0일 수 있음을 의미합니다. 즉, 최종 시험 결과를 예측하는 데 중요하지 않습니다.

추가 리소스

선형 회귀 분석에 대한 귀무 가설 이해
회귀 분석의 전반적인 중요성에 대한 F 테스트 이해
회귀 결과를 보고하는 방법