Rでクラス内相関係数を計算する方法

クラス内相関係数(ICC) は、項目またはトピックをさまざまな評価者が確実に評価できるかどうかを判断するために使用されます。

ICC の値は 0 ～ 1 の範囲で、0 は評価者間で信頼性がないことを示し、1 は完全な信頼性を示します。

R で ICC を計算する最も簡単な方法は、 irrパッケージのicc()関数を使用することです。この関数は次の構文を使用します。

icc (分類、モデル、タイプ、単位)

金：

• メモ:メモのデータベースまたはマトリックス
• モデル:使用するモデルのタイプ。オプションには「一方向」または「双方向」が含まれます
• type:評価者間で計算する関係のタイプ。オプションには「一貫性」または「合意」が含まれます
• 単位:分析の単位。オプションには「シンプル」または「ミディアム」が含まれます

このチュートリアルでは、この機能の実際的な使用例を示します。

ステップ 1: データを作成する

4 人の異なる裁判官が 10 の異なる大学入学試験の質を評価するように依頼されたとします。審査員のスコアを保持するために次のデータフレームを作成できます。

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

ステップ 2: クラス内相関係数を計算する

入学試験の資格のある審査員の母集団から 4 人の審査員がランダムに選ばれ、審査員間の絶対的な一致度を測定し、測定の基礎として 1 人の評価者の観点からのスコアを使用したいとします。

R で次のコードを使用すると、評価者間の関係として絶対的な一致を使用し、対象の単位として単一の単位を使用して、双方向モデルを当てはめることができます。

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

クラス内相関係数 (ICC) は0.782であることがわかりました。

Koo と Liによると、クラス内相関係数の値を解釈する方法は次のとおりです。

• 0.50未満:信頼性が低い
• 0.5 ～ 0.75: 中程度の信頼性
• 0.75 ～ 0.9:良好な信頼性
• 0.9以上：優れた信頼性

したがって、ICC が0.782であれば、試験はさまざまな評価者によって「良好な」信頼性で採点できることを示していると結論付けられます。

ICC 計算に関する注意事項

次の 3 つの要素に応じて、計算できる ICC にはいくつかの異なるバージョンがあります。

• モデル:一方向ランダム効果、双方向ランダム効果、または双方向混合効果
• 関係のタイプ:一貫性または完全な合意
• 単位:単一の評価者または評価者の平均

前の例では、次の仮定を使用して ICC を計算しました。

• モデル:双方向ランダム効果
• 関係の種類:絶対的な合意
• 単位:単一の評価者

これらの前提条件の詳細な説明については、この記事を参照してください。