Как рассчитать каппу коэна в r

В статистике каппа Коэна используется для измерения уровня согласия между двумя оценщиками или судьями, которые классифицируют каждый элемент по взаимоисключающим категориям.

Формула каппы Коэна рассчитывается следующим образом:

k знак равно (п _о – п _е ) / (1 – п _е )

Золото:

• p _o : Относительное согласие, наблюдаемое среди оценщиков
• p _e : Гипотетическая вероятность случайного соглашения.

Вместо того, чтобы просто подсчитывать процент пунктов, по которым оценщики согласны, Каппа Коэна пытается учесть тот факт, что оценщики могут прийти к согласию по некоторым пунктам просто случайно.

Значение каппы Коэна всегда находится в диапазоне от 0 до 1, где:

• 0 указывает на отсутствие согласия между двумя рецензентами.
• 1 указывает на полное согласие между двумя оценщиками.

В следующей таблице приведены способы интерпретации различных значений каппы Коэна:

Самый простой способ вычислить каппу Коэна в R — использовать функцию cohen.kappa() из пакета psych .

В следующем примере показано, как использовать эту функцию на практике.

Пример: вычислить каппу Коэна в R.

Предположим, двух кураторов художественного музея попросили оценить 15 картин, чтобы определить, достаточно ли они хороши для показа на новой выставке.

Следующий код показывает, как использовать функцию cohen.kappa() пакета psych для расчета каппы Коэна для двух оценщиков:

 library (psych)

#define vector of ratings for both raters
miss1 = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 0]
miss2 = [0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0]

#calculate Cohen's Kappa
Cohen. kappa (x=cbind(miss1,miss2))

Cohen Kappa and Weighted Kappa correlation coefficients and confidence boundaries 
                 lower estimate upper
unweighted kappa -0.14 0.34 0.81
weighted kappa -0.14 0.34 0.81

 Number of subjects = 15 

В столбце оценки отображается значение Каппа Коэна.

Из результата мы видим, что каппа Коэна оказывается равной 0,34 .

Основываясь на предыдущей таблице, мы бы сказали, что у двух оценщиков был лишь «достаточно» уровень согласия.

Если вы хотите рассчитать уровень согласия между тремя или более оценщиками, вместо этого рекомендуется использовать каппу Фляйсса.

Дополнительные ресурсы

В следующих руководствах представлены дополнительные ресурсы по каппе Коэна:

Введение в каппу Коэна
Онлайн-калькулятор каппы Коэна
Как рассчитать каппу Коэна в Excel
Как вычислить каппу Коэна в Python