Jaki jest poziom błędu na rodzinę?

Podczas testowania hipotez zawsze występuje poziom błędu I rodzaju, który mówi nam o prawdopodobieństwie odrzucenia hipotezy zerowej, która jest rzeczywiście prawdziwa. Inaczej mówiąc, jest to prawdopodobieństwo uzyskania „fałszywie pozytywnego wyniku”, to znaczy, gdy twierdzimy, że istnieje efekt statystycznie istotny, podczas gdy w rzeczywistości go nie ma, nie ma go.

Kiedy testujemy hipotezy, poziom błędu typu I jest równy poziomowi istotności (α), który zwykle przyjmuje się jako 0,01, 0,05 lub 0,10. Jeśli jednak przeprowadzimy wiele testów hipotez jednocześnie, prawdopodobieństwo uzyskania wyniku fałszywie pozytywnego wzrasta.

Wyobraźmy sobie na przykład, że rzucamy kostką o 20 ściankach. Prawdopodobieństwo, że kostka wypadnie na „1” wynosi tylko 5%. Jeśli jednak rzucisz dwiema takimi kośćmi na raz, prawdopodobieństwo, że jedna z nich wypadnie na „1”, wzrasta do 9,75%. Jeśli rzucimy pięcioma kostkami na raz, prawdopodobieństwo wzrasta do 22,6%.

Im więcej kości rzucimy, tym większe prawdopodobieństwo, że jedna z nich wypadnie na 1. Podobnie, jeśli przeprowadzimy wiele testów hipotez na raz, stosując poziom istotności 0,05, prawdopodobieństwo, że otrzymamy wynik fałszywie pozytywny, wzrośnie powyżej 0,05. 0,05.

Jak oszacować poziom błędu na rodzinę

Wzór na oszacowanie poziomu błędu na rodzinę jest następujący:

Poziom błędu na rodzinę = 1 – (1-α) ⁿ

Złoto:

• α: poziom istotności dla testu pojedynczej hipotezy
• n: Całkowita liczba testów

Załóżmy na przykład, że przeprowadzamy 5 różnych porównań przy poziomie alfa α = 0,05. Poziom błędu na rodzinę oblicza się w następujący sposób:

Poziom błędu na rodzinę = 1 – (1-α) ^c = 1 – (1-0,05) ⁵ = 0,2262 .

Innymi słowy, prawdopodobieństwo uzyskania błędu I rodzaju w co najmniej jednym z testów hipotezy jest większe niż 22%!

Jak kontrolować poziom błędów przez rodzinę

Istnieje kilka metod kontrolowania poziomu błędów w zależności od rodziny, w tym:

1. Poprawka Bonferroniego.

Dostosuj wartość α używaną do oceny istotności w taki sposób, że:

α _nowy = α _stary / rz

Na przykład, jeśli wykonamy 5 różnych porównań przy użyciu poziomu alfa α = 0,05, a następnie korzystając z poprawki Bonferroniego, nasz nowy poziom alfa będzie wyglądał następująco:

α _nowy = α _stary / n = 0,05 / 5 = 0,01 .

2. Poprawka Sidaka.

Dostosuj wartość α używaną do oceny istotności w taki sposób, że:

α _nowy = 1 – (1-α _stary ) ^1/n

Na przykład, jeśli wykonamy 5 różnych porównań przy użyciu poziomu alfa α = 0,05, a następnie stosując poprawkę Sidaka, nasz nowy poziom alfa będzie wyglądał następująco:

α _nowy = 1 – (1-α _stary ) ^1/n = 1 – (1-.05) ^1/5 = .010206 .

3. Poprawka Bonferroniego-Holma.

Ta procedura działa w następujący sposób:

1. Użyj poprawki Bonferroniego, aby obliczyć α _nowy = α _stary / n.
2. Wykonaj każdy test hipotezy i uporządkuj wartości p wszystkich testów od najmniejszej do największej.
3. Jeśli pierwsza wartość p jest większa lub równa α _new , przerwij procedurę. Żadna wartość p nie jest istotna.
4. Jeśli pierwsza wartość p jest mniejsza niż α _new , to jest ona istotna. Teraz porównaj drugą wartość p z α _new . Jeśli jest większa lub równa α _new , przerwij procedurę. Żadne inne wartości p nie są znaczące.

Stosując jedną z tych poprawek na poziomie istotności, możemy znacząco zmniejszyć prawdopodobieństwo popełnienia błędu I rodzaju w rodzinie testów hipotez.