Qual é a taxa de erro por família?

Nos testes de hipóteses , há sempre uma taxa de erro Tipo I que nos indica a probabilidade de rejeitar uma hipótese nula que seja realmente verdadeira. Ou seja, é a probabilidade de obter um “falso positivo”, ou seja, quando afirmamos que existe um efeito estatisticamente significativo, quando na realidade não existe, não existe.

Quando realizamos testes de hipóteses, a taxa de erro Tipo I é igual ao nível de significância (α), que geralmente é escolhido como 0,01, 0,05 ou 0,10. No entanto, quando executamos vários testes de hipóteses ao mesmo tempo, a probabilidade de obter um falso positivo aumenta.

Por exemplo, imagine que lançamos um dado de 20 lados. A probabilidade de o dado cair em “1” é de apenas 5%. Mas se você lançar dois desses dados de uma vez, a probabilidade de um dos dados cair em “1” aumenta para 9,75%. Se lançarmos cinco dados de uma vez, a probabilidade aumenta para 22,6%.

Quanto mais dados lançarmos, maior será a probabilidade de um dos dados cair em 1. Da mesma forma, se executarmos vários testes de hipóteses ao mesmo tempo usando um nível de significância de 0,05, a probabilidade de obtermos um falso positivo aumenta além de 0,05. 0,05.

Como estimar a taxa de erro por família

A fórmula para estimar a taxa de erro por família é a seguinte:

Taxa de erro por família = 1 – (1-α) ⁿ

Ouro:

• α: o nível de significância para um único teste de hipótese
• n: O número total de testes

Por exemplo, suponha que realizamos 5 comparações diferentes usando um nível alfa de α = 0,05. A taxa de erro por família seria calculada da seguinte forma:

Taxa de erro por família = 1 – (1-α) ^c = 1 – (1-0,05) ⁵ = 0,2262 .

Ou seja, a probabilidade de se obter erro tipo I em pelo menos um dos testes de hipótese é superior a 22%!

Como controlar a taxa de erro por família

Existem vários métodos que podem ser usados para controlar a taxa de erro por família, incluindo:

1. A correção de Bonferroni.

Ajuste o valor α usado para avaliar a significância de modo que:

α _novo = α _antigo / n

Por exemplo, se realizarmos 5 comparações diferentes usando um nível alfa de α = 0,05, então usando a correção de Bonferroni, nosso novo nível alfa seria:

α _novo = α _antigo / n = 0,05 / 5 = 0,01 .

2. A correção Sidak.

Ajuste o valor α usado para avaliar a significância de modo que:

α _novo = 1 – (1-α _antigo ) ^1/n

Por exemplo, se realizarmos 5 comparações diferentes usando um nível alfa de α = 0,05, então usando a correção Sidak, nosso novo nível alfa seria:

α _novo = 1 – (1-α _antigo ) ^1/n = 1 – (1-0,05) ^1/5 = 0,010206 .

3. A correção de Bonferroni-Holm.

Este procedimento funciona da seguinte forma:

1. Use a correção de Bonferroni para calcular α _novo = α _antigo / n.
2. Execute cada teste de hipótese e ordene os valores p de todos os testes, do menor para o maior.
3. Se o primeiro valor de p for maior ou igual a α _new , interrompa o procedimento. Nenhum valor p é significativo.
4. Se o primeiro valor p for menor que α _new , então é significativo. Agora compare o segundo valor de p com α _new . Se for maior ou igual a α _new , interrompa o procedimento. Nenhum outro valor de p é significativo.

Ao usar uma dessas correções de nível de significância, podemos reduzir significativamente a probabilidade de cometer um erro Tipo I entre uma família de testes de hipóteses.