家族ごとのエラー率はどれくらいですか?

仮説検定では、実際には真である帰無仮説が棄却される確率を示すタイプ I 過誤率が常に存在します。言い換えれば、これは「偽陽性」が得られる確率、つまり、統計的に有意な効果があると主張するときに、実際には効果がない場合に発生する確率です。

仮説検定を実行する場合、タイプ I 過誤率は有意水準 (α) に等しく、通常は 0.01、0.05、または 0.10 が選択されます。ただし、複数の仮説検定を一度に実行すると、偽陽性が発生する可能性が高くなります。

たとえば、20 面体のサイコロを振ると想像してください。サイコロが「1」の目に出る確率はわずか 5% です。しかし、これらのサイコロを 2 つ同時に振ると、そのうちの 1 つが「1」になる確率は 9.75% に増加します。一度に 5 つのサイコロを振ると、確率は 22.6% に増加します。

サイコロを振るほど、サイコロの 1 つが 1 になる確率が高くなります。同様に、有意水準 0.05 を使用して複数の仮説検定を一度に実行すると、偽陽性が得られる確率は 0.05 を超えて増加します。 0.05。

家族ごとのエラー率を推定する方法

ファミリごとのエラー率を推定する式は次のとおりです。

ファミリごとのエラー率 = 1 – (1-α) ⁿ

金：

• α:単一仮説検定の有意水準
• n:テストの総数

たとえば、アルファ レベル α = 0.05 を使用して 5 つの異なる比較を実行するとします。ファミリーごとのエラー率は次のように計算されます。

ファミリごとのエラー率 = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0.2262 。

言い換えれば、仮説検定の少なくとも 1 つでタイプ I 過誤が発生する確率は 22% を超えています。

ファミリごとにエラー率を制御する方法

ファミリごとにエラー率を制御するために使用できる方法はいくつかあります。次のとおりです。

1. ボンフェローニの修正。

有意性の評価に使用される α 値を次のように調整します。

α_新しい= α_古い/ n

たとえば、アルファ レベル α = 0.05 を使用して 5 つの異なる比較を実行し、ボンフェローニ補正を使用すると、新しいアルファ レベルは次のようになります。

α_新しい= α_古い/ n = 0.05 / 5 = 0.01 。

2. シダックの修正。

有意性の評価に使用される α 値を次のように調整します。

α _new = 1 – (1-α _old ) ^1/n

たとえば、α = 0.05 のアルファ レベルを使用して 5 つの異なる比較を実行し、Sidak 補正を使用すると、新しいアルファ レベルは次のようになります。

α _new = 1 – (1-α _old ) ^1/n = 1 – (1-.05) ^1/5 = .010206 。

3. ボンフェローニ・ホルム補正。

この手順は次のように機能します。

1. ボンフェローニ補正を使用して、α _new = α _old / n を計算します。
2. 各仮説検定を実行し、すべての検定の p 値を最小から最大の順に並べます。
3. 最初の p 値が α _new以上の場合は、手順を停止します。 p 値は有意ではありません。
4. 最初の p 値が α _newより小さい場合、それは有意です。次に、2 番目の p 値を α _newと比較します。それが α _new以上の場合、手順を停止します。他の p 値は有意ではありません。

これらの有意水準補正のいずれかを使用することにより、一連の仮説検定でタイプ I の誤りが発生する可能性を大幅に減らすことができます。