Quel est le taux d’erreur par famille ?

Dans un test d’hypothèse , il existe toujours un taux d’erreur de type I qui nous indique la probabilité de rejeter une hypothèse nulle qui est réellement vraie. En d’autres termes, c’est la probabilité d’obtenir un « faux positif », c’est-à-dire lorsque l’on prétend qu’il y a un effet statistiquement significatif, alors qu’en réalité il n’y en a pas.

Lorsque nous effectuons un test d’hypothèse, le taux d’erreur de type I est égal au niveau de signification (α), qui est généralement choisi comme étant 0,01, 0,05 ou 0,10. Cependant, lorsque nous effectuons plusieurs tests d’hypothèses à la fois, la probabilité d’obtenir un faux positif augmente.

Par exemple, imaginez que nous lançons un dé à 20 faces. La probabilité que le dé tombe sur un « 1 » n’est que de 5 %. Mais si l’on lance deux de ces dés à la fois, la probabilité que l’un des dés tombe sur un « 1 » augmente à 9,75 %. Si nous lançons cinq dés à la fois, la probabilité augmente à 22,6 %.

Plus nous lançons de dés, plus la probabilité que l’un des dés tombe sur un 1 est élevée. De même, si nous effectuons plusieurs tests d’hypothèses à la fois en utilisant un niveau de signification de 0,05, la probabilité que nous obtenions un faux positif augmente au-delà de 0,05. 0,05.

Comment estimer le taux d’erreur par famille

La formule pour estimer le taux d’erreur par famille est la suivante :

Taux d’erreur par famille = 1 – (1-α) ⁿ

où:

• α : le niveau de signification pour un test d’hypothèse unique
• n : Le nombre total de tests

Par exemple, supposons que nous effectuions 5 comparaisons différentes en utilisant un niveau alpha de α = 0,05. Le taux d’erreur par famille serait calculé comme suit :

Taux d’erreur par famille = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0,2262 .

En d’autres termes, la probabilité d’obtenir une erreur de type I sur au moins un des tests d’hypothèse est supérieure à 22 % !

Comment contrôler le taux d’erreur par famille

Il existe plusieurs méthodes qui peuvent être utilisées pour contrôler le taux d’erreur par famille, notamment :

1. La correction Bonferroni.

Ajustez la valeur α utilisée pour évaluer la signification de telle sorte que :

α _nouveau = α _ancien / n

Par exemple, si nous effectuons 5 comparaisons différentes en utilisant un niveau alpha de α = 0,05, alors en utilisant la correction de Bonferroni, notre nouveau niveau alpha serait :

α _nouveau = α _ancien / n = 0,05 / 5 = 0,01 .

2. La correction Sidak.

Ajustez la valeur α utilisée pour évaluer la signification de telle sorte que :

α _nouveau = 1 – (1-α _ancien ) ^1/n

Par exemple, si nous effectuons 5 comparaisons différentes en utilisant un niveau alpha de α = 0,05, alors en utilisant la correction Sidak, notre nouveau niveau alpha serait :

α _nouveau = 1 – (1-α _ancien ) ^1/n = 1 – (1-.05) ^1/5 = .010206 .

3. La correction Bonferroni-Holm.

Cette procédure fonctionne comme suit :

1. Utilisez la correction de Bonferroni pour calculer α _nouveau = α _ancien / n.
2. Effectuez chaque test d’hypothèse et classez les valeurs p de tous les tests de la plus petite à la plus grande.
3. Si la première valeur p est supérieure ou égale à α _new , arrêtez la procédure. Aucune valeur p n’est significative.
4. Si la première valeur p est inférieure à α _new , alors elle est significative. Comparez maintenant la deuxième valeur p à α _new . S’il est supérieur ou égal à α _new , arrêtez la procédure. Aucune autre valeur p n’est significative.

En utilisant l’une de ces corrections du niveau de signification, nous pouvons réduire considérablement la probabilité de commettre une erreur de type I parmi une famille de tests d’hypothèse.