Поправка бонферроні: визначення та приклад

Щоразу, коли ви виконуєте перевірку гіпотези , завжди існує ризик зробити помилку типу I. Це коли ви відкидаєте нульову гіпотезу, коли вона насправді вірна.

Іноді ми називаємо це «помилковим позитивним результатом» – коли стверджуємо, що є статистично значущий ефект, хоча насправді його немає.

Коли ми виконуємо перевірку гіпотез, частота помилок типу I дорівнює рівню значущості (α), який зазвичай вибирається рівним 0,01, 0,05 або 0,10. Однак, коли ми запускаємо кілька перевірок гіпотез одночасно, ймовірність отримання помилкового позитивного результату зростає.

Коли ми виконуємо перевірку кількох гіпотез одночасно, нам доводиться мати справу з тим, що називається сімейним коефіцієнтом помилок , тобто ймовірністю того, що принаймні один із тестів дасть хибнопозитивний результат. Це можна розрахувати наступним чином:

Частота помилок на сім’ю = 1 – (1-α) ⁿ

золото:

• α: рівень значущості для перевірки однієї гіпотези
• n: Загальна кількість тестів

Якщо ми виконуємо одну перевірку гіпотези, використовуючи α = 0,05, ймовірність того, що ми припустимося помилки типу I, становить лише 0,05.

Частота помилок на сімейство = 1 – (1-α) ^c = 1 – (1-,05) ¹ = 0,05

Якщо ми виконуємо дві перевірки гіпотез одночасно та використовуємо α = 0,05 для кожного тесту, ймовірність того, що ми припустимося помилки типу I, зростає до 0,0975.

Частота помилок на сімейство = 1 – (1-α) ^c = 1 – (1-,05) ² = 0,0975

І якщо ми виконуємо п’ять перевірок гіпотез одночасно, використовуючи α = 0,05 для кожного тесту, ймовірність того, що ми припустимося помилки типу I, зростає до 0,2262.

Частота помилок на сімейство = 1 – (1-α) ^c = 1 – (1-,05) ⁵ = 0,2262

Легко помітити, що зі збільшенням кількості статистичних тестів ймовірність вчинення помилки типу I принаймні в одному з тестів швидко зростає.

Одним із способів вирішення цієї проблеми є використання поправки Бонферроні.

Що таке поправка Бонферроні?

Поправка Бонферроні відноситься до процесу коригування рівня альфа (α) для групи статистичних тестів для контролю ймовірності помилки типу I.

Формула для поправки Бонферроні така:

α _новий = α _{оригінальний} / n

золото:

• _{вихідний} α: вихідний рівень α
• n: загальна кількість виконаних порівнянь або тестів

Наприклад, якщо ми запускаємо три статистичні тести одночасно і хочемо використовувати α = 0,05 для кожного тесту, поправка Бонферроні говорить нам, що ми повинні використовувати α _new = 0,01667 .

α _новий = α _{оригінальний} / n = 0,05 / 3 = 0,01667

Таким чином, ми повинні відхилити нульову гіпотезу кожного окремого тесту, лише якщо р-значення тесту менше 0,01667.

Поправка Бонферроні: приклад

Припустімо, професор хоче знати, чи призводять три різні методи навчання до різних результатів тестів серед студентів.

Щоб перевірити це, вона випадковим чином призначає 30 студентам використовувати кожну методику навчання. Після тижня використання призначеної методики навчання кожен студент складає той самий іспит.

Потім вона виконує односторонній дисперсійний аналіз і виявляє, що загальне значення p становить 0,0476 . Оскільки цей показник менший за 0,05, вона відкидає нульову гіпотезу одностороннього дисперсійного аналізу та робить висновок, що кожна техніка дослідження не дає однакового середнього балу за іспит.

Щоб дізнатися , які методи дослідження дають статистично значущі бали, вона виконує такі попарні t-тести:

• Техніка 1 проти Техніки 2
• Техніка 1 проти Техніки 3
• Техніка 2 проти Техніки 3

Вона хоче контролювати ймовірність скоєння помилки типу I при α = 0,05. Оскільки вона виконує кілька тестів одночасно, вона вирішує застосувати поправку Бонферроні та використати α _new = 0,01667 .

_новий α = _{вихідний} α / n = 0,05 / 3 = 0,01667

Потім вона проводить Т-тести для кожної групи та знаходить наступне:

• Техніка 1 проти Техніки 2 | р-значення = 0,0463
• Техніка 1 проти Техніки 3 | р-значення = 0,3785
• Техніка 2 проти Техніки 3 | р-значення = 0,0114

Оскільки значення p для методики 2 порівняно з технікою 3 є єдиним значенням p менше 0,01667, вона робить висновок, що існує лише статистично значуща різниця між методикою 2 і технікою 3.

Додаткові ресурси

Калькулятор поправок Бонферроні
Як виконати корекцію Бонферроні в R