コーエンのカッパ統計: 定義と例

コーエンのカッパ統計は、項目を相互に排他的なカテゴリに分類する 2 人の評価者または審査員の間の一致レベルを測定するために使用されます。

コーエンのカッパ式は次のように計算されます。

k = (p _o – p _e ) / (1 – p _e )

金：

• p _o :評価者間で観察された相対的な一致
• p _e :偶然の一致の仮説確率

コーエンのカッパは、評価者が同意する項目の割合を単純に計算するのではなく、評価者が一部の項目について単なる偶然に同意する可能性があるという事実を説明しようとします。

コーエンのカッパをどう解釈するか

コーエンのカッパは常に 0 と 1 の間にあり、0 は 2 人の評価者間で一致がないことを示し、1 は 2 人の評価者間で完全に一致することを示します。

次の表は、コーエンのカッパのさまざまな値を解釈する方法をまとめたものです。

次の段階的な例は、コーエンのカッパを手動で計算する方法を示しています。

コーエンのカッパを計算する: ステップバイステップの例

2 人の美術館の学芸員が 70 点の絵画を評価して、新しい展覧会で展示するのに十分かどうかを確認するように依頼されたとします。

次の 2×2 の表は、評価の結果を示しています。

ステップ 1: 評価者間の相対的な一致 (p _o ) を計算します。

まず、評価者間の相対的な一致度を計算します。これは、両方の評価者が「はい」または「いいえ」と回答した合計スコアの割合にすぎません。

これは次のように計算できます。

• p _o = (両方とも「はい」と答えた + 両方とも「いいえ」と答えた) / (合計スコア)
• p _o = (25 + 20) / (70) = 0.6429

ステップ 2: 評価者間の偶然の一致の仮説確率 (p _e ) を計算します。

次に、評価者が純粋に運によって同意できた確率を計算します。

これは、レビュー担当者 1 が「はい」と発言した合計回数を回答の合計数で割った値に、レビュー担当者 2 が「はい」と回答した回数の合計を乗算し、回答の合計数で割って合計に加算することによって計算されます。評価者 1 が「いいえ」と言った回数に、評価者 2 が「いいえ」と言った合計回数を掛けます。

この例では、これは次のように計算されます。

• P(「はい」) = ((25+10)/70) * ((25+15)/70) = 0.285714
• P(「いいえ」) = ((15+20)/70) * ((10+20)/70) = 0.214285
• p _e = 0.285714 + 0.214285 = 0.5

ステップ 3: コーエンのカッパを計算する

最後に、 p _oと p _eを使用してコーエンのカッパを計算します。

• k = (p _o – p _e ) / (1 – p _e )
• k = (0.6429 – 0.5) / (1 – 0.5)
• k = 0.2857

コーエンのカッパは0.2857であることがわかります。前の表に基づくと、2 人の評価者は「かなり」レベルで一致しただけであると言えます。

追加リソース

このコーエンのカッパ計算ツールを使用すると、2 人の評価者のコーエンのカッパを自動的に計算できます。