如何在r中计算组内相关系数

类内相关系数(ICC) 用于确定不同评分者是否可以对项目或主题进行可靠评分。

ICC 的值范围为 0 到 1，其中 0 表示评分者没有可靠性，1 表示完全可靠性。

在 R 中计算 ICC 最简单的方法是使用irr包中的icc()函数，该函数使用以下语法：

icc（分类、型号、类型、单位）

金子：

• 笔记：笔记的数据库或矩阵
• model：要使用的模型类型。选项包括“单向”或“双向”
• type：评估者之间要计算的关系类型。选项包括“一致性”或“协议”
• 单位：分析单位。选项包括“简单”或“中等”

本教程提供了使用此功能的实际示例。

第 1 步：创建数据

假设请四位不同的评委来评估 10 场不同的高考质量。我们可以创建以下数据框来保存评委的分数：

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

步骤2：计算类内相关系数

假设四位评委是从一批合格的入学考试评委中随机选出的，我们想要衡量评委之间的绝对一致性，并且我们想使用仅一位评估者角度的分数作为我们衡量的基础。

我们可以在R中使用以下代码来拟合双向模型，使用绝对一致作为评分者之间的关系，并使用单个单位作为兴趣单位：

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

组内相关系数 (ICC) 为0.782 。

根据Koo & Li 的说法，以下是如何解释类内相关系数的值：

• 小于0.50：可靠性差
• 0.5 到 0.75 之间：中等可靠性
• 0.75至0.9之间：可靠性良好
• 大于0.9：可靠性极佳

因此，我们得出的结论是，ICC 为0.782表明不同评分者可以对考试进行“良好”可靠性评分。

计算ICC的注意事项

可以计算多种不同版本的 ICC，具体取决于以下三个因素：

• 模型：单向随机效应、双向随机效应或双向混合效应
• 关系类型：一致性或绝对一致
• 单位：单个评估者或评估者的平均值

在前面的示例中，我们计算的 ICC 使用以下假设：

• 模型：双向随机效应
• 关系类型：绝对一致
• 单位：单一评估员

有关这些假设的详细解释，请参阅这篇文章。