Wat is het foutenpercentage per gezin?

Bij het testen van hypothesen is er altijd een Type I-foutpercentage dat ons vertelt hoe waarschijnlijk het is dat een nulhypothese wordt verworpen als deze daadwerkelijk waar is. Met andere woorden, het is de waarschijnlijkheid dat er een “vals-positief effect” wordt verkregen, dat wil zeggen wanneer we beweren dat er een statistisch significant effect is, terwijl er in werkelijkheid geen effect is.

Wanneer we hypothesetoetsen uitvoeren, is het type I-foutpercentage gelijk aan het significantieniveau (α), dat gewoonlijk wordt gekozen op 0,01, 0,05 of 0,10. Wanneer we echter meerdere hypothesetests tegelijk uitvoeren, wordt de kans op een vals positief resultaat groter.

Stel je bijvoorbeeld voor dat we een 20-zijdige dobbelsteen gooien. De kans dat de dobbelsteen op een “1” valt is slechts 5%. Maar als je twee van deze dobbelstenen tegelijk gooit, neemt de kans dat een van de dobbelstenen op een “1” terechtkomt toe tot 9,75%. Als we vijf dobbelstenen tegelijk gooien, neemt de kans toe tot 22,6%.

Hoe meer dobbelstenen we gooien, hoe groter de kans dat een van de dobbelstenen op een 1 terechtkomt. Als we meerdere hypothesetoetsen tegelijk uitvoeren met een significantieniveau van 0,05, neemt de kans dat we een vals-positief resultaat krijgen toe tot boven de 0,05. 0,05.

Hoe het foutenpercentage per gezin te schatten

De formule voor het schatten van het foutenpercentage per gezin is als volgt:

Foutpercentage per familie = 1 – (1-α) ⁿ

Goud:

• α: het significantieniveau voor een enkele hypothesetest
• n: Het totale aantal tests

Stel dat we bijvoorbeeld vijf verschillende vergelijkingen uitvoeren met een alfaniveau van α = 0,05. Het foutenpercentage per gezin zou als volgt worden berekend:

Foutpercentage per familie = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0,2262 .

Met andere woorden: de kans op een type I-fout bij ten minste één van de hypothesetoetsen is groter dan 22%!

Hoe u het foutenpercentage per gezin kunt beheersen

Er zijn verschillende methoden die kunnen worden gebruikt om het foutenpercentage per gezin te beheersen, waaronder:

1. De Bonferroni-correctie.

Pas de α-waarde aan die wordt gebruikt om de significantie te beoordelen, zodat:

α _nieuw = α _oud / n

Als we bijvoorbeeld vijf verschillende vergelijkingen uitvoeren met een alfaniveau van α = 0,05, en vervolgens de Bonferroni-correctie gebruiken, zou ons nieuwe alfaniveau zijn:

α _nieuw = α _oud / n = 0,05 / 5 = 0,01 .

2. De Sidak-correctie.

Pas de α-waarde aan die wordt gebruikt om de significantie te beoordelen, zodat:

α _nieuw = 1 – (1-α _oud ) ^1/n

Als we bijvoorbeeld vijf verschillende vergelijkingen uitvoeren met een alfaniveau van α = 0,05, en met behulp van de Sidak-correctie, zou ons nieuwe alfaniveau zijn:

α _nieuw = 1 – (1-α _oud ) ^1/n = 1 – (1-.05) ^1/5 = .010206 .

3. De Bonferroni-Holm-correctie.

Deze procedure werkt als volgt:

1. Gebruik de Bonferroni-correctie om α _nieuw = α _oud / n te berekenen.
2. Voer elke hypothesetest uit en rangschik de p-waarden van alle tests van klein naar groot.
3. Als de eerste p-waarde groter is dan of gelijk is aan α _new , stop dan de procedure. Geen enkele p-waarde is significant.
4. Als de eerste p-waarde kleiner is dan α _new , dan is deze significant. Vergelijk nu de tweede p-waarde met α _new . Als deze groter is dan of gelijk is aan α _new , stop dan de procedure. Er zijn geen andere p-waarden significant.

Door een van deze significantieniveaucorrecties te gebruiken, kunnen we de kans op het maken van een Type I-fout in een familie van hypothesetoetsen aanzienlijk verkleinen.