Benjamini-hochberg 절차 안내

통계 검정을 수행할 때마다 귀무 가설이 참이더라도 우연히 0.05 미만의 p-값을 얻을 가능성이 있습니다.

예를 들어, 특정 식물의 평균 키가 10인치보다 큰지 알고 싶다고 가정해 보겠습니다. 테스트를 위한 귀무 가설과 대립 가설은 다음과 같습니다.

H ₀ : μ = 10인치

_HA : μ > 10인치

이 가설을 테스트하기 위해 나가서 측정할 식물 20종의 무작위 샘플을 수집할 수 있습니다. 이 식물 종의 실제 평균 높이가 10인치임에도 불구하고 비정상적으로 키가 큰 식물 20개 표본을 선택하여 귀무 가설을 기각할 가능성이 있습니다.

귀무가설이 참이더라도(이 식물의 평균 키는 실제로 10인치였습니다), 이를 기각했습니다. 통계에서는 이를 ‘거짓 발견’이라고 부릅니다. 당신은 발견(“중요한 결과”)을 했다고 주장하지만 이는 사실 거짓입니다.

이제 한 번에 100개의 통계 테스트를 실행한다고 상상해 보세요. 알파 수준 0.05를 사용하면 개별 테스트에서 잘못된 발견을 할 확률은 5%에 불과하지만, 이렇게 많은 테스트를 수행하기 때문에 100번 중 5번 정도만 잘못된 발견으로 이어질 것으로 예상할 수 있습니다.

현대 사회에서는 기술을 통해 연구자들이 한 번에 수백 또는 수천 개의 통계 테스트를 수행할 수 있으므로 잘못된 발견이 일반적인 문제가 될 수 있습니다.

예를 들어, 의학 연구자들은 한 번에 수만 개의 유전자에 대한 통계 테스트를 수행할 수 있습니다. 잘못된 발견 비율이 5%에 불과하더라도 이는 수백 번의 테스트로 인해 잘못된 발견이 발생할 수 있음을 의미합니다.

잘못된 발견 비율을 제어하는 한 가지 방법은 Benjamini-Hochberg 절차를 사용하는 것입니다.

Benjamini-Hochberg 절차

Benjamini-Hochberg 절차는 다음과 같이 작동합니다.

1단계: 모든 통계 테스트를 수행하고 각 테스트에 대한 p-값을 찾습니다.

2단계: p-값의 순위를 내림차순으로 지정하고 각 값에 순위를 지정합니다. 가장 작은 값의 순위는 1이고 다음으로 작은 값의 순위는 2입니다.

3단계: 공식 (i/m)*Q를 사용하여 각 p-값에 대한 임계 Benjamini-Hochberg 값을 계산합니다.

금:

i = p 값의 순위

m = 총 테스트 수

Q = 선택한 허위 발견 비율

4단계: 임계값보다 작은 가장 큰 p-값을 찾습니다. 이 p-값보다 작은 각 p-값을 유의미한 것으로 지정합니다.

다음 예에서는 구체적인 값을 사용하여 이 절차를 수행하는 방법을 보여줍니다.

예

연구자들이 20가지 변수가 심장병과 관련이 있는지 여부를 확인하려고 한다고 가정해 보겠습니다. 그들은 한 번에 20개의 개별 통계 테스트를 수행하고 각 테스트에 대한 p-값을 받습니다. 다음 표에는 각 테스트의 p-값이 내림차순으로 나열되어 있습니다.

연구자들이 20%의 잘못된 발견률을 기꺼이 받아들인다고 가정해 보겠습니다. 따라서 각 p-값에 대한 임계 Benjamini-Hochberg 값을 계산하려면 다음 공식을 사용할 수 있습니다. (i/20)*0.2 여기서 i = p-값의 순위입니다.

다음 표는 각 개별 p-값에 대한 중요한 Benjamini-Hochberg 값을 보여줍니다.

Benjamini-Hochberg 임계값 아래에서 가장 큰 p-값을 갖는 테스트는 변수 #11이며, 이 변수의 p-값은 0.039이고 BH 임계값은 0.040입니다.

따라서 이 검정과 p-값이 더 작은 모든 검정은 유의한 것으로 간주됩니다.

변수 #17과 #3은 BH 임계값보다 작은 p-값을 갖지 않았음에도 불구하고 변수 #11보다 p-값이 작기 때문에 여전히 유의미한 것으로 간주됩니다.

허위 발견률을 선택하는 방법

Benjamini-Hochberg 절차에서 가장 중요한 단계 중 하나는 잘못된 발견 비율을 선택하는 것입니다. 데이터를 수집하거나 통계 테스트를 수행하기 전에 잘못된 발견 비율을 선택해야 합니다.

일반적으로 분석의 탐색 단계에서 많은 수의 통계 테스트를 수행한 다음 다른 테스트를 수행하여 결과를 추가로 탐색하게 됩니다.

후속 테스트 비용이 저렴하다면 잘못된 발견 비율을 더 높게 설정하는 것을 고려할 수 있습니다. 잘못된 발견이 몇 개 있더라도 후속 테스트에서 잘못된 발견을 발견할 가능성이 높기 때문입니다.

또한, 중요한 발견을 놓치는 비용이 높다면, 중요한 것을 놓치지 않도록 잘못된 발견 비율을 높이는 것이 좋습니다.

연구 비용과 중요한 결과를 놓치지 않는 것의 중요성에 따라 잘못된 발견 비율은 상황에 따라 달라집니다.

추가 리소스

P값과 통계적 유의성에 대한 설명
제품군당 오류율은 얼마입니까?