Cohen 的 kappa 统计量：定义和示例

Cohen 的 Kappa 统计量用于衡量两个评分者或评判者之间的一致程度，他们各自将项目分类为互斥的类别。

Cohen 的 kappa 公式计算如下：

k = (p _o – p _e ) / (1 – p _e )

金子：

• p _o ：评估者之间观察到的相对一致性
• p _e ：机会一致的假设概率

Cohen 的 Kappa 不是简单地计算评分者同意的项目的百分比，而是尝试解释评分者可能纯属偶然就某些项目达成一致的事实。

如何解读科恩的Kappa

Cohen 的 Kappa 始终介于 0 和 1 之间，其中 0 表示两个评估者之间不一致，1 表示两个评估者之间完全一致。

下表总结了如何解释 Cohen 的 Kappa 的不同值：

以下分步示例展示了如何手动计算 Cohen 的 Kappa。

计算 Cohen 的 Kappa：分步示例

假设两名博物馆馆长被要求评估 70 幅画作，看看它们是否足以在新展览中展示。

下面的 2×2 表显示了评估结果：

步骤 1：计算评估者之间的相对一致性 (p _o )。

首先，我们将计算评估者之间的相对一致性。这只是两个评分者回答“是”或“否”的总分的比例。

我们可以如下计算：

• p _o =（都说是 + 都说不是）/（总分）
• p _o = (25 + 20) / (70) = 0.6429

步骤 2：计算评估者之间机会一致的假设概率 (p _e )。

接下来，我们将计算评估者纯粹偶然达成一致的概率。

计算方法如下：审阅者 1 说“是”的总次数除以响应总数，乘以审阅者 2 说“是”的总次数，除以总响应数，然后加到总数。评估者 1 说“否”的次数乘以评估者 2 说“否”的总次数。

对于我们的示例，计算如下：

• P(“是”) = ((25+10)/70) * ((25+15)/70) = 0.285714
• P(“否”) = ((15+20)/70) * ((10+20)/70) = 0.214285
• p _e = 0.285714 + 0.214285 = 0.5

第 3 步：计算 Cohen 的 Kappa

最后，我们将使用 p _o和 p _e来计算 Cohen 的 Kappa：

• k = (p _o – p _e ) / (1 – p _e )
• k = (0.6429 – 0.5) / (1 – 0.5)
• k = 0.2857

Cohen 的 Kappa 值为0.2857 。根据上表，我们可以说两位评估者只有“相当”程度的一致。

其他资源

您可以使用此 Cohen Kappa 计算器自动计算两个评估者的 Cohen Kappa。