如何在 excel 中计算 fleiss kappa

Fleiss 的 Kappa是一种在评估者对一组项目进行分类评级时衡量三个或更多评估者之间一致程度的方法。

Fleiss 的 Kappa 从 0 到 1，其中：

• 0表示评审者之间没有达成一致。
• 1表示评估者之间完全一致。

本教程提供了如何在 Excel 中计算 Fleiss’ Kappa 的示例。

示例：Excel 中的 Fleiss Kappa

假设 14 个人对 10 种不同的产品进行了从差到优秀的评分。

以下屏幕截图显示了每个产品获得的总评分：

以下屏幕截图显示了如何在 Excel 中计算此数据的 Fleiss Kappa：

此屏幕截图中最棘手的计算位于 J 列中。用于这些计算的公式显示在屏幕顶部的文本框中。

请注意，本示例中的 Fleiss Kappa 结果为0.2099 。用于计算单元格 C18 中该值的实际公式是：

弗莱斯 kappa = (0.37802 – 0.2128) / (1 – 0.2128) = 0.2099。

虽然没有正式的方法来解释 Fleiss’ Kappa，但以下值显示了如何解释 Cohen’s Kappa，它用于评估两个评估者之间的评估者间一致性水平：

• <0.20 |贫穷的
• .21 – .40 |公平的
• .41 – .60 |缓和
• 0.61 – 0.80 |好的
• .81 – 1 |好吧

根据这些值，我们示例中的 Fleiss Kappa 值为0.2099 ，将被解释为评估者间一致性的“公平”水平。