Qual è il tasso di errore per famiglia?

Nel test delle ipotesi , c’è sempre un tasso di errore di tipo I che ci dice la probabilità di rifiutare un’ipotesi nulla che sia effettivamente vera. In altre parole, è la probabilità di ottenere un “falso positivo”, cioè quando affermiamo che c’è un effetto statisticamente significativo, quando in realtà non ce n’è.

Quando eseguiamo il test delle ipotesi, il tasso di errore di tipo I è uguale al livello di significatività (α), che solitamente viene scelto tra 0,01, 0,05 o 0,10. Tuttavia, quando eseguiamo più test di ipotesi contemporaneamente, la probabilità di ottenere un falso positivo aumenta.

Ad esempio, immagina di lanciare un dado a 20 facce. La probabilità che il dado cada su “1” è solo del 5%. Ma se lanci due di questi dadi contemporaneamente, la probabilità che uno dei dadi esca su “1” aumenta al 9,75%. Se lanciamo cinque dadi contemporaneamente, la probabilità aumenta al 22,6%.

Più dadi lanciamo, maggiore è la probabilità che uno dei dadi dia 1. Allo stesso modo, se eseguiamo più test di ipotesi contemporaneamente utilizzando un livello di significatività di 0,05, la probabilità di ottenere un falso positivo aumenta oltre 0,05. 0,05.

Come stimare il tasso di errore per famiglia

La formula per stimare il tasso di errore per famiglia è la seguente:

Tasso di errore per famiglia = 1 – (1-α) ⁿ

Oro:

• α: il livello di significatività per un singolo test di ipotesi
• n: il numero totale di test

Ad esempio, supponiamo di eseguire 5 confronti diversi utilizzando un livello alfa di α = 0,05. Il tasso di errore per famiglia verrebbe calcolato come segue:

Tasso di errore per famiglia = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0,2262 .

In altre parole, la probabilità di ottenere un errore di tipo I su almeno uno dei test di ipotesi è maggiore del 22%!

Come controllare il tasso di errore per famiglia

Esistono diversi metodi che possono essere utilizzati per controllare il tasso di errore per famiglia, tra cui:

1. La correzione Bonferroni.

Regolare il valore α utilizzato per valutare la significatività in modo tale che:

α _nuovo = α _vecchio / n

Ad esempio, se eseguiamo 5 confronti diversi utilizzando un livello alfa di α = 0,05, quindi utilizzando la correzione Bonferroni, il nostro nuovo livello alfa sarebbe:

α _nuovo = α _vecchio / n = 0,05 / 5 = 0,01 .

2. La correzione Sidak.

Regolare il valore α utilizzato per valutare la significatività in modo tale che:

α _nuovo = 1 – (1-α _vecchio ) ^1/n

Ad esempio, se eseguiamo 5 confronti diversi utilizzando un livello alfa di α = 0,05, quindi utilizzando la correzione Sidak, il nostro nuovo livello alfa sarebbe:

α _nuovo = 1 – (1-α _vecchio ) ^1/n = 1 – (1-.05) ^1/5 = .010206 .

3. La correzione Bonferroni-Holm.

Questa procedura funziona come segue:

1. Utilizzare la correzione di Bonferroni per calcolare α _nuovo = α _vecchio / n.
2. Esegui ciascun test di ipotesi e ordina i valori p di tutti i test dal più piccolo al più grande.
3. Se il primo valore p è maggiore o uguale a α _new , interrompere la procedura. Nessun valore p è significativo.
4. Se il primo valore p è inferiore a α _new , allora è significativo. Ora confronta il secondo valore p con α _new . Se è maggiore o uguale a α _new , interrompere la procedura. Nessun altro valore p è significativo.

Utilizzando una di queste correzioni del livello di significatività, possiamo ridurre significativamente la probabilità di commettere un errore di tipo I in una famiglia di test di ipotesi.