Berapa tingkat kesalahan per keluarga?

Dalam pengujian hipotesis , selalu ada tingkat kesalahan Tipe I yang memberi tahu kita kemungkinan menolak hipotesis nol yang sebenarnya benar. Dengan kata lain, ini adalah probabilitas untuk memperoleh “positif palsu”, yaitu ketika kita menyatakan bahwa terdapat pengaruh yang signifikan secara statistik, padahal kenyataannya tidak ada, maka tidak ada.

Saat kita melakukan pengujian hipotesis, tingkat kesalahan Tipe I sama dengan tingkat signifikansi (α), yang biasanya dipilih sebesar 0,01, 0,05, atau 0,10. Namun, ketika kita menjalankan beberapa uji hipotesis sekaligus, kemungkinan mendapatkan hasil positif palsu meningkat.

Misalnya, bayangkan kita melempar sebuah dadu bersisi 20. Peluang munculnya dadu pada angka “1” hanya 5%. Namun jika Anda melempar dua dadu sekaligus, kemungkinan salah satu dadu mendarat di angka “1” meningkat menjadi 9,75%. Jika kita melempar lima dadu sekaligus, probabilitasnya meningkat menjadi 22,6%.

Semakin banyak dadu yang kita lempar, semakin tinggi kemungkinan salah satu dadu akan mendarat di angka 1. Demikian pula, jika kita menjalankan beberapa uji hipotesis sekaligus menggunakan tingkat signifikansi 0,05, kemungkinan kita mendapatkan hasil positif palsu akan meningkat melebihi 0,05. 0,05.

Bagaimana memperkirakan tingkat kesalahan per keluarga

Rumus untuk memperkirakan tingkat kesalahan per keluarga adalah sebagai berikut:

Tingkat kesalahan per keluarga = 1 – (1-α) ⁿ

Emas:

• α : tingkat signifikansi untuk uji hipotesis tunggal
• n: Jumlah total tes

Misalnya, kita melakukan 5 perbandingan berbeda menggunakan tingkat alfa α = 0,05. Tingkat kesalahan per keluarga akan dihitung sebagai berikut:

Tingkat kesalahan per keluarga = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0.2262 .

Dengan kata lain, kemungkinan memperoleh kesalahan tipe I pada setidaknya satu uji hipotesis lebih besar dari 22%!

Bagaimana mengontrol tingkat kesalahan berdasarkan keluarga

Ada beberapa metode yang dapat digunakan untuk mengendalikan tingkat kesalahan berdasarkan keluarga, antara lain:

1. Koreksi Bonferroni.

Sesuaikan nilai α yang digunakan untuk menilai signifikansi sedemikian rupa sehingga:

α _baru = α _lama / n

Misalnya, jika kita melakukan 5 perbandingan berbeda menggunakan tingkat alfa α = 0,05, maka dengan menggunakan koreksi Bonferroni, tingkat alfa baru kita akan menjadi:

α _baru = α _lama / n = 0,05 / 5 = 0,01 .

2. Koreksi Sidak.

Sesuaikan nilai α yang digunakan untuk menilai signifikansi sedemikian rupa sehingga:

α _baru = 1 – (1-α _lama ) ^1/n

Misalnya, jika kita melakukan 5 perbandingan berbeda menggunakan level alpha α = 0,05, maka dengan menggunakan koreksi Sidak, level alpha baru kita akan menjadi:

α _baru = 1 – (1-α _lama ) ^1/n = 1 – (1-.05) ^1/5 = .010206 .

3. Koreksi Bonferroni-Holm.

Prosedur ini berfungsi sebagai berikut:

1. Gunakan koreksi Bonferroni untuk menghitung α _baru = α _lama / n.
2. Lakukan setiap pengujian hipotesis dan urutkan nilai p dari semua pengujian dari yang terkecil hingga yang terbesar.
3. Jika nilai p pertama lebih besar atau sama dengan α _baru , hentikan prosedur. Tidak ada nilai p yang signifikan.
4. Jika p-value pertama lebih kecil dari α _new , maka p-value tersebut signifikan. Sekarang bandingkan nilai p kedua dengan α _new . Jika lebih besar atau sama dengan α _new , hentikan prosedur. Tidak ada nilai p lain yang signifikan.

Dengan menggunakan salah satu koreksi tingkat signifikansi ini, kita dapat secara signifikan mengurangi kemungkinan terjadinya kesalahan Tipe I di antara serangkaian pengujian hipotesis.