Bonferroni 수정: 정의 및 예

가설 검정을 수행할 때마다 항상 제1종 오류가 발생할 위험이 있습니다. 이는 귀무가설이 실제로 참인데도 이를 기각하는 경우입니다.

우리는 통계적으로 유의미한 효과가 있다고 주장하지만 실제로는 그렇지 않은 경우를 때때로 이를 “가양성(false positive)”이라고 부릅니다.

가설 검정을 수행할 때 제1종 오류율은 유의 수준(α)과 동일하며 일반적으로 0.01, 0.05 또는 0.10으로 선택됩니다. 그러나 여러 가설 검정을 한 번에 실행하면 거짓양성이 나올 가능성이 높아집니다.

여러 가설 테스트를 한 번에 실행할 때, 우리는 Family-wise 오류율 , 즉 테스트 중 적어도 하나가 거짓 긍정을 생성할 확률을 처리해야 합니다. 이는 다음과 같이 계산할 수 있습니다.

패밀리당 오류율 = 1 – (1-α) ⁿ

금:

• α: 단일 가설 검정에 대한 유의 수준
• n: 총 테스트 횟수

α = 0.05를 사용하여 단일 가설 검정을 수행하면 제1종 오류를 범할 확률은 0.05에 불과합니다.

패밀리당 오류율 = 1 – (1-α) ^c = 1 – (1-.05) ¹ = 0.05

한 번에 두 가지 가설 검정을 수행하고 각 검정에 대해 α = 0.05를 사용하면 제1종 오류를 범할 확률은 0.0975로 증가합니다.

패밀리당 오류율 = 1 – (1-α) ^c = 1 – (1-.05) ² = 0.0975

그리고 각 검정마다 α = 0.05를 사용하여 5개의 가설 검정을 한 번에 실행하면 제1종 오류를 범할 확률은 0.2262로 증가합니다.

패밀리당 오류율 = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0.2262

통계적 테스트의 수를 늘리면 적어도 하나의 테스트에서 제1종 오류를 범할 확률이 급격히 증가한다는 것을 쉽게 알 수 있습니다.

이 문제를 해결하는 한 가지 방법은 Bonferroni 보정을 사용하는 것입니다.

본페로니 교정이란 무엇입니까?

Bonferroni 수정은 제1종 오류가 발생할 확률을 제어하기 위해 일련의 통계 테스트에 대한 알파(α) 수준을 조정하는 프로세스를 의미합니다.

Bonferroni 보정 공식은 다음과 같습니다.

α _신규 = α _원본 / n

금:

• _원래 α: 원래 α 수준
• n: 수행된 비교 또는 테스트의 총 횟수

예를 들어, 한 번에 세 가지 통계 테스트를 실행하고 각 테스트에 α = 0.05를 사용하려는 경우 Bonferroni 수정은 α _new = 0.01667을 사용해야 함을 알려줍니다.

α _신규 = α _원본 / n = 0.05 / 3 = 0.01667

따라서 검정의 p-값이 0.01667보다 작은 경우에만 각 개별 검정의 귀무가설을 기각해야 합니다.

Bonferroni 수정: 예

교수가 세 가지 서로 다른 학습 방법이 학생들 사이에서 서로 다른 시험 점수로 이어지는지 여부를 알고 싶어한다고 가정해 보겠습니다.

이를 테스트하기 위해 그녀는 각 학습 기법을 사용하도록 30명의 학생을 무작위로 할당합니다. 일주일 동안 할당된 학습 방법을 사용한 후 각 학생은 동일한 시험을 치릅니다.

그런 다음 일원 분산 분석을 수행하여 전체 p-값이 0.0476 임을 확인했습니다. 이 수치는 0.05보다 작기 때문에 그녀는 일원 분산 분석의 귀무 가설을 기각하고 각 연구 기술이 동일한 평균 시험 점수를 생성하지 않는다는 결론을 내립니다.

어떤 연구 기법이 통계적으로 유의미한 점수를 생성하는지 알아내기 위해 그녀는 다음과 같은 쌍별 t-검정을 수행합니다.

• 기술 1과 기술 2 비교
• 기술 1과 기술 3 비교
• 기술 2와 기술 3 비교

그녀는 α = 0.05에서 제1종 오류를 범할 확률을 제어하려고 합니다. 그녀는 한 번에 여러 테스트를 수행하므로 Bonferroni 수정을 적용하고 α _new = .01667 을 사용하기로 결정했습니다.

_새 α = _원래 α / n = 0.05 / 3 = 0.01667

그런 다음 그녀는 각 그룹에 대해 T-테스트를 수행하고 다음을 찾습니다.

• 기술 1 대 기술 2 | p-값 = 0.0463
• 기술 1과 기술 3 비교 | p-값 = 0.3785
• 기술 2 대 기술 3 | p-값 = 0.0114

기술 2와 기술 3의 p-값이 0.01667보다 작은 유일한 p-값이기 때문에 그녀는 기술 2와 기술 3 사이에 통계적으로 유의한 차이만 있다고 결론을 내립니다.

추가 리소스

Bonferroni 수정 계산기
R에서 Bonferroni 보정을 수행하는 방법