부분 f 테스트란 무엇입니까?
부분 F-검정은 회귀 모델 과 동일한 모델의 중첩 버전 간에 통계적으로 유의미한 차이가 있는지 여부를 확인하는 데 사용됩니다.
중첩 모델은 단순히 전체 회귀 모델에서 예측 변수의 하위 집합을 포함하는 모델입니다.
예를 들어, 4개의 예측 변수가 있는 다음과 같은 회귀 모델이 있다고 가정합니다.
Y = β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 + β 4 x 4 + ε
중첩 모델의 예는 원래 예측 변수가 2개만 있는 다음 모델입니다.
Y = β 0 + β 1 x 1 + β 2 x 2 + ε
이 두 모델이 크게 다른지 확인하기 위해 부분 F-검정을 수행할 수 있습니다.
부분 F 테스트: 기본 사항
부분 F-검정은 다음 F-검정 통계량을 계산합니다.
F = (( 감소된 RSS – 전체 RSS)/p) / ( 전체 RSS /nk)
금:
- 축소된 RSS : 축소된(예: “중첩”) 모델의 잔차 제곱합입니다.
- RSS 전체 : 전체 모델의 잔차 제곱합입니다.
- p: 전체 모델에서 제거된 예측 변수의 수입니다.
- n: 데이터 세트의 총 관측치 수입니다.
- k: 전체 모델의 계수(절편 포함) 수입니다.
예측 변수를 추가하면 항상 오류가 어느 정도 감소하므로 전체 모델의 경우 잔차 제곱합이 항상 더 작아집니다.
따라서 부분 F-검정은 기본적으로 전체 모델에서 제거한 예측 변수 그룹이 실제로 유용하고 전체 모델에 포함되어야 하는지 여부를 테스트합니다.
이 테스트에서는 다음과 같은 귀무가설과 대립가설을 사용합니다.
H 0 : 전체 모델에서 제거된 모든 계수는 0입니다.
H A : 전체 모델에서 제거된 계수 중 적어도 하나는 0이 아닙니다.
F-검정 통계량에 해당하는 p-값이 특정 유의 수준(예: 0.05)보다 낮으면 귀무 가설을 기각하고 전체 모델에서 제거된 계수 중 하나 이상이 유의하다는 결론을 내릴 수 있습니다.
부분 F 테스트: 예
실제로는 다음 단계를 사용하여 부분 F 테스트를 수행합니다.
1. 전체 회귀 모델을 피팅하고 RSS 전체를 계산합니다.
2. 중첩 회귀 모델을 맞추고 감소된 RSS를 계산합니다.
3. ANOVA를 수행하여 전체 모델과 축소 모델을 비교하면 모델을 비교하는 데 필요한 F-검정 통계가 생성됩니다.
예를 들어, 다음 코드는 내장된 mtcars 데이터 세트의 데이터를 사용하여 R에서 다음 두 가지 회귀 모델을 맞추는 방법을 보여줍니다.
전체 모델: mpg = β 0 + β 1 사용 가능 + β 2 탄수화물 + β 3 hp + β 4 실린더
모델: mpg = β 0 + β 1 사용 가능 + β 2 탄수화물
#fit full model model_full <- lm(mpg ~ disp + carb + hp + cyl, data = mtcars) #fit reduced model model_reduced <- lm(mpg ~ disp + carb, data = mtcars) #perform ANOVA to test for differences in models anova(model_reduced, model_full) Analysis of Variance Table Model 1: mpg ~ available + carb Model 2: mpg ~ disp + carb + hp + cyl Res.Df RSS Df Sum of Sq F Pr(>F) 1 29 254.82 2 27 238.71 2 16.113 0.9113 0.414
결과에서 ANOVA의 F 검정 통계량은 0.9113 이고 해당 p-값은 0.414 임을 알 수 있습니다.
이 p-값은 0.05 이상이므로 귀무가설을 기각할 수 없습니다. 이는 hp 또는 cyl 예측 변수 중 하나가 통계적으로 유의하다고 말할 수 있는 증거가 충분하지 않음을 의미합니다.
즉, 회귀 모델에 hp 와 cyl을 추가해도 모델 적합도가 크게 향상되지 않습니다.
저자 소개
벤자민 앤더슨
안녕하세요. 저는 통계학 교수를 퇴직하고 전임 통계 교사로 변신한 벤자민입니다. 통계 분야의 광범위한 경험과 전문 지식을 바탕으로 Statorials를 통해 학생들에게 힘을 실어주기 위해 지식을 공유하고 싶습니다. 더 알아보기