Aile başına hata oranı nedir?

Hipotez testinde , bize gerçekten doğru olan bir sıfır hipotezinin reddedilme olasılığını söyleyen bir Tip I hata oranı her zaman vardır. Başka bir deyişle “yanlış pozitif” elde etme olasılığıdır, yani istatistiksel olarak anlamlı bir etki olduğunu iddia ettiğimizde gerçekte yokken yoktur.

Hipotez testi yaptığımızda Tip I hata oranı genellikle 0,01, 0,05 veya 0,10 olarak seçilen anlamlılık düzeyine (α) eşittir. Ancak birden fazla hipotez testini aynı anda çalıştırdığımızda yanlış pozitif sonuç alma olasılığı artar.

Örneğin 20 kenarlı bir zarı attığımızı düşünün. Zarın “1” gelme olasılığı sadece %5’tir. Ancak bu zarlardan ikisini aynı anda atarsanız, zarlardan birinin “1” rakamına gelme olasılığı %9,75’e çıkar. Aynı anda beş zar atarsak olasılık %22,6’ya çıkar.

Ne kadar çok zar atarsak, zarlardan birinin 1’e gelme olasılığı da o kadar yüksek olur. Benzer şekilde, 0,05 anlamlılık düzeyini kullanarak birden fazla hipotez testini aynı anda çalıştırırsak, yanlış pozitif alma olasılığımız 0,05’in üzerine çıkar. 0.05.

Aile başına hata oranı nasıl tahmin edilir?

Aile başına hata oranını tahmin etme formülü aşağıdaki gibidir:

Aile başına hata oranı = 1 – (1-α) ⁿ

Altın:

• α: tek bir hipotez testinin anlamlılık düzeyi
• n: Toplam test sayısı

Örneğin, α = 0,05 alfa düzeyini kullanarak 5 farklı karşılaştırma yaptığımızı varsayalım. Aile başına hata oranı şu şekilde hesaplanacaktır:

Aile başına hata oranı = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0,2262 .

Başka bir deyişle, hipotez testlerinden en az birinde I. tip hata elde etme olasılığı %22’den fazladır!

Aileye göre hata oranı nasıl kontrol edilir

Hata oranını aileye göre kontrol etmek için kullanılabilecek çeşitli yöntemler vardır:

1. Bonferroni düzeltmesi.

Anlamlılığı değerlendirmek için kullanılan α değerini şu şekilde ayarlayın:

α _yeni = α _eski / n

Örneğin, α = 0,05 alfa düzeyini kullanarak 5 farklı karşılaştırma yaparsak, Bonferroni düzeltmesini kullanırsak yeni alfa düzeyimiz şöyle olur:

α _yeni = α _eski / n = 0,05 / 5 = 0,01 .

2. Sidak düzeltmesi.

Anlamlılığı değerlendirmek için kullanılan α değerini şu şekilde ayarlayın:

α _yeni = 1 – (1-α _eski ) ^1/n

Örneğin, α = 0,05 alfa düzeyini kullanarak 5 farklı karşılaştırma yaparsak, Sidak düzeltmesini kullanırsak yeni alfa düzeyimiz şöyle olur:

α _yeni = 1 – (1-α _eski ) ^1/n = 1 – (1-.05) ^1/5 = .010206 .

3. Bonferroni-Holm düzeltmesi.

Bu prosedür şu şekilde çalışır:

1. α _yeni = α _eski / n’yi hesaplamak için Bonferroni düzeltmesini kullanın.
2. Her hipotez testini gerçekleştirin ve tüm testlerin p değerlerini en küçükten en büyüğe doğru sıralayın.
3. İlk p değeri α _new’den büyük veya ona eşitse prosedürü durdurun. Hiçbir p değeri anlamlı değildir.
4. İlk p değeri α _new’den küçükse anlamlıdır. Şimdi ikinci p değerini α _new ile karşılaştırın. α _new’den büyük veya ona eşitse prosedürü durdurun. Başka hiçbir p değeri anlamlı değildir.

Bu anlamlılık düzeyindeki düzeltmelerden birini kullanarak, bir hipotez testleri ailesi arasında Tip I hata yapma olasılığını önemli ölçüde azaltabiliriz.