선형 회귀 분석에서 p 값을 해석하는 방법(예제 포함)

통계에서 선형 회귀 모델은 하나 이상의 예측 변수와 반응 변수 간의 관계를 수량화하는 데 사용됩니다.

통계 소프트웨어를 사용하여 회귀 분석을 수행할 때마다 모델 결과를 요약하는 회귀 테이블을 받게 됩니다.

회귀표에서 가장 중요한 두 가지 값은 회귀 계수와 해당 p-값 입니다.

p-값은 각 예측 변수와 반응 변수 사이에 통계적으로 유의미한 관계가 있는지 여부를 알려줍니다.

다음 예에서는 실제로 다중 선형 회귀 모델의 p-값을 해석하는 방법을 보여줍니다.

예: 회귀 모델에서 P 값 해석

다음 변수를 사용하여 회귀 모델을 적합화한다고 가정합니다 .

예측변수

• 총 학습 시간(0~20시간)
• 학생이 튜터를 사용했는지 여부(예 또는 아니오)

반응변수

• 시험 점수(0~100)

우리는 학습 시간과 과외 시간이 실제로 시험 점수에 중요한 영향을 미치는지 알아보기 위해 예측 변수와 반응 변수 간의 관계를 조사하려고 합니다.

회귀 분석을 수행하고 다음과 같은 결과를 얻었다고 가정합니다.

모델의 각 항의 결과를 해석하는 방법은 다음과 같습니다.

절편에 대한 P 값 해석

회귀표의 원래 항은 모든 예측 변수가 0일 때 반응 변수의 예상 평균 값을 알려줍니다.

이 예에서 원점에 대한 회귀 계수는 48.56 입니다. 이는 0시간 공부 한 학생의 평균 예상 시험 점수가 48.56점임을 의미합니다.

p-값은 0.002 이며 이는 원래 항이 통계적으로 0과 다르다는 것을 나타냅니다.

실제로는 일반적으로 원래 항의 p-값에 신경 쓰지 않습니다. p-값이 특정 유의 수준(예: 0.05)보다 낮지 않더라도 모델의 원래 항은 그대로 유지됩니다.

연속형 예측 변수에 대한 P-값 해석

이 예에서 공부 시간은 0~20시간 범위의 연속 예측 변수입니다.

회귀 결과에서 학습 시간에 대한 회귀 계수가 2.03 임을 알 수 있습니다. 이는 예측 변수 Tutor가 일정하게 유지된다고 가정할 때 평균적으로 추가 학습 시간이 최종 시험에서 2.03점 증가하는 것과 연관되어 있음을 의미합니다.

예를 들어, 10시간 동안 공부하고 튜터를 고용하는 학생 A를 생각해 보세요. 또한 11시간 동안 공부하고 튜터를 고용하는 학생 B를 생각해 보십시오. 회귀 결과에 따르면 학생 B는 시험에서 학생 A보다 2.03 점 더 높은 점수를 받을 것으로 예상됩니다.

해당 p-값은 0.009 이며, 이는 알파 수준 0.05에서 통계적으로 유의합니다.

이는 공부한 시간이 추가될 때마다 시험 점수의 평균 변화가 통계적으로 0과 유의미하게 다르다는 것을 알려줍니다.

즉, 공부한 시간은 시험 점수 응답 변수와 통계적으로 유의미한 관계가 있습니다.

범주형 예측 변수에 대한 P-값 해석

이 예에서 Tutor는 두 가지 다른 값을 사용할 수 있는 범주형 예측 변수입니다.

• 1 = 학생이 시험 준비를 위해 튜터를 이용했습니다.
• 0 = 학생이 시험 준비를 위해 튜터를 활용하지 않았습니다.

회귀 결과에서 Tutor에 대한 회귀 계수가 8.34 임을 알 수 있습니다. 이는 예측 변수인 학습 시간이 일정하게 유지된다는 가정 하에 튜터를 사용한 학생이 튜터를 사용하지 않은 학생보다 시험에서 평균 8.34점 더 높은 점수를 받았다는 의미입니다.

예를 들어, 10시간 동안 공부하고 튜터를 고용하는 학생 A를 생각해 보세요. 또한 10시간 동안 공부하고 튜터를 사용하지 않는 학생 B를 생각해 보십시오. 회귀 결과에 따르면 학생 A는 학생 B보다 시험 점수가 8.34점 더 높을 것으로 예상됩니다.

해당 p-값은 0.138 이며, 이는 알파 수준 0.05에서 통계적으로 유의하지 않습니다.

이는 공부한 시간이 추가될 때마다 시험 점수의 평균 변화가 통계적으로 0과 크게 다르지 않다는 것을 말해줍니다.

다르게 말하면 교사 예측 변수는 시험 점수 응답 변수와 통계적으로 유의미한 관계가 없습니다.

이는 튜터를 사용한 학생들이 시험에서 더 좋은 성적을 거두었지만 이러한 차이는 우연에 의한 것일 수 있음을 나타냅니다.

추가 리소스

다음 자습서에서는 선형 회귀에 대한 추가 정보를 제공합니다.

회귀 분석의 전반적인 중요성에 대해 F 테스트를 해석하는 방법
다중 선형 회귀 분석의 5가지 가정
선형 회귀 분석의 t-검정 이해