Поправка бонферрони: определение и пример

Всякий раз, когда вы выполняете проверку гипотезы , всегда существует риск допустить ошибку I рода. Это когда вы отвергаете нулевую гипотезу, хотя она на самом деле верна.

Иногда мы называем это «ложным позитивом» — когда заявляем о наличии статистически значимого эффекта, хотя на самом деле его нет.

Когда мы проводим проверку гипотез, частота ошибок типа I равна уровню значимости (α), который обычно выбирается равным 0,01, 0,05 или 0,10. Однако когда мы запускаем несколько тестов гипотез одновременно, вероятность получения ложноположительного результата возрастает.

Когда мы запускаем несколько тестов гипотез одновременно, нам приходится иметь дело с так называемой семейной частотой ошибок , то есть с вероятностью того, что хотя бы один из тестов даст ложноположительный результат. Это можно рассчитать следующим образом:

Частота ошибок на семейство = 1 – (1-α) ⁿ

Золото:

• α: уровень значимости для проверки одной гипотезы.
• n: Общее количество тестов

Если мы выполним одну проверку гипотезы, используя α = 0,05, вероятность того, что мы допустим ошибку рода I, составит всего 0,05.

Частота ошибок на семейство = 1 – (1-α) ^c = 1 – (1-.05) ¹ = 0,05

Если мы выполним две проверки гипотез одновременно и используем α = 0,05 для каждой проверки, вероятность того, что мы допустим ошибку I рода, увеличится до 0,0975.

Частота ошибок на семейство = 1 – (1-α) ^c = 1 – (1-.05) ² = 0,0975

А если мы запустим пять тестов гипотез одновременно, используя α = 0,05 для каждого теста, вероятность того, что мы допустим ошибку I рода, увеличится до 0,2262.

Частота ошибок на семейство = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0,2262

Легко видеть, что по мере увеличения количества статистических тестов вероятность совершения ошибки I рода хотя бы в одном из тестов быстро возрастает.

Одним из способов решения этой проблемы является использование поправки Бонферрони.

Что такое поправка Бонферрони?

Поправка Бонферрони относится к процессу корректировки уровня альфа (α) для семейства статистических тестов с целью контроля вероятности совершения ошибки первого рода.

Формула поправки Бонферрони выглядит следующим образом:

α _новый = α _{оригинальный} / n

Золото:

• _{исходный} α: Исходный уровень α.
• n: общее количество выполненных сравнений или тестов.

Например, если мы запускаем три статистических теста одновременно и хотим использовать α = 0,05 для каждого теста, поправка Бонферрони говорит нам, что мы должны использовать α _new = 0,01667 .

α _новый = α _{исходный} / n = 0,05 / 3 = 0,01667

Таким образом, нам следует отвергать нулевую гипотезу каждого отдельного теста только в том случае, если значение p теста меньше 0,01667.

Коррекция Бонферрони: пример

Предположим, профессор хочет знать, приводят ли три разных метода обучения к разным результатам тестов среди студентов.

Чтобы проверить это, она случайным образом поручает 30 ученикам использовать каждый метод обучения. После недели использования назначенной им методики обучения каждый студент сдает один и тот же экзамен.

Затем она выполняет однофакторный дисперсионный анализ и обнаруживает, что общее значение p составляет 0,0476 . Поскольку эта цифра меньше 0,05, она отвергает нулевую гипотезу одностороннего дисперсионного анализа и приходит к выводу, что каждый метод исследования не дает одинакового среднего балла на экзамене.

Чтобы выяснить , какие методы исследования дают статистически значимые результаты, она выполняет следующие парные t-тесты:

• Техника 1 против Техники 2
• Техника 1 против Техники 3
• Техника 2 против Техники 3

Она хочет контролировать вероятность совершения ошибки I рода при α = 0,05. Поскольку она выполняет несколько тестов одновременно, она решает применить поправку Бонферрони и использовать α _new = 0,01667 .

_новый α = _{исходный} α/n = 0,05/3 = 0,01667

Затем она проводит Т-тесты для каждой группы и обнаруживает следующее:

• Техника 1 против Техники 2 | р-значение = 0,0463
• Техника 1 против Техники 3 | p-значение = 0,3785
• Техника 2 против Техники 3 | p-значение = 0,0114

Поскольку значение p для метода 2 по сравнению с методом 3 является единственным значением p меньше 0,01667, она приходит к выводу, что существует только статистически значимая разница между методом 2 и методом 3.

Дополнительные ресурсы

Калькулятор поправок Бонферрони
Как выполнить коррекцию Бонферрони в R