Який рівень помилок на сім'ю?

Під час перевірки гіпотези завжди існує частота помилок типу I, яка говорить нам про ймовірність відхилення нульової гіпотези, яка насправді є істинною. Іншими словами, це ймовірність отримання «помилкового позитивного результату», тобто коли ми стверджуємо, що є статистично значущий ефект, хоча насправді його немає, його немає.

Коли ми виконуємо перевірку гіпотез, частота помилок типу I дорівнює рівню значущості (α), який зазвичай вибирається рівним 0,01, 0,05 або 0,10. Однак, коли ми запускаємо кілька перевірок гіпотез одночасно, ймовірність отримання помилкового позитивного результату зростає.

Наприклад, уявіть, що ми кидаємо 20-гранний кубик. Імовірність того, що кубик випаде на «1», становить лише 5%. Але якщо ви кинете два таких кубика одночасно, ймовірність того, що один з кубиків випаде на «1», зростає до 9,75%. Якщо ми кидаємо п’ять кубиків одночасно, ймовірність зростає до 22,6%.

Чим більше кубиків ми кидаємо, тим вища ймовірність того, що один із кубиків випаде на 1. Подібним чином, якщо ми запускаємо кілька перевірок гіпотез одночасно, використовуючи рівень значущості 0,05, ймовірність того, що ми отримаємо помилковий позитивний результат, зростає понад 0,05. 0,05.

Як оцінити рівень помилок на сім’ю

Формула для оцінки рівня помилок на сім’ю виглядає наступним чином:

Частота помилок на сім’ю = 1 – (1-α) ⁿ

золото:

• α: рівень значущості для перевірки однієї гіпотези
• n: Загальна кількість тестів

Наприклад, припустімо, що ми виконуємо 5 різних порівнянь, використовуючи альфа-рівень α = 0,05. Рівень помилок на сім’ю розраховується таким чином:

Рівень помилок на сім’ю = 1 – (1-α) ^c = 1 – (1-,05) ⁵ = 0,2262 .

Іншими словами, ймовірність отримати помилку типу I принаймні в одній із перевірок гіпотези перевищує 22%!

Як контролювати частоту помилок за сім’єю

Існує кілька методів, які можна використовувати для контролю частоти помилок за сімейством, зокрема:

1. Поправка Бонферроні.

Відкоригуйте значення α, яке використовується для оцінки значущості, таким чином, щоб:

α _новий = α _старий / n

Наприклад, якщо ми виконаємо 5 різних порівнянь, використовуючи альфа-рівень α = 0,05, тоді використовуючи поправку Бонферроні, наш новий альфа-рівень буде:

α _новий = α _старий / n = 0,05 / 5 = 0,01 .

2. Поправка Сідака.

Відкоригуйте значення α, яке використовується для оцінки значущості, таким чином, щоб:

α _новий = 1 – (1-α _старий ) ^1/n

Наприклад, якщо ми виконаємо 5 різних порівнянь, використовуючи альфа-рівень α = 0,05, тоді використовуючи поправку Сідака, наш новий альфа-рівень буде:

α _новий = 1 – (1-α _старий ) ^1/n = 1 – (1-.05) ^1/5 = .010206 .

3. Поправка Бонферроні-Холма.

Ця процедура працює наступним чином:

1. Використовуйте поправку Бонферроні, щоб обчислити α _новий = α _старий / n.
2. Виконайте перевірку кожної гіпотези та впорядкуйте p-значення всіх тестів від найменшого до найбільшого.
3. Якщо перше значення p більше або дорівнює α _new , зупиніть процедуру. Жодне значення p не є значущим.
4. Якщо перше p-значення менше α _new , то воно є значущим. Тепер порівняйте друге значення p із α _new . Якщо воно більше або дорівнює α _new , зупиніть процедуру. Жодні інші значення p не є значущими.

Використовуючи одну з цих поправок рівня значущості, ми можемо значно зменшити ймовірність помилки типу I серед сімейства перевірок гіпотез.