Статистика каппа коэна: определение и пример

Статистика Каппа Коэна используется для измерения уровня согласия между двумя оценщиками или судьями, каждый из которых классифицирует элементы по взаимоисключающим категориям.

Формула каппы Коэна рассчитывается следующим образом:

k знак равно (п _о – п _е ) / (1 – п _е )

Золото:

• p _o : Относительное согласие, наблюдаемое среди оценщиков
• p _e : Гипотетическая вероятность случайного соглашения.

Вместо того, чтобы просто подсчитывать процент пунктов, по которым оценщики согласны, Каппа Коэна пытается учесть тот факт, что оценщики могут прийти к согласию по некоторым пунктам просто случайно.

Как интерпретировать каппу Коэна

Каппа Коэна всегда находится между 0 и 1, где 0 указывает на отсутствие согласия между двумя оценщиками, а 1 указывает на полное согласие между двумя оценщиками.

В следующей таблице приведены способы интерпретации различных значений каппы Коэна:

В следующем пошаговом примере показано, как вручную рассчитать каппу Коэна.

Рассчитать каппу Коэна: пошаговый пример

Предположим, двух кураторов музея попросили оценить 70 картин, чтобы определить, достаточно ли они хороши для показа на новой выставке.

В следующей таблице 2×2 показаны результаты оценок:

Шаг 1: Рассчитайте относительное согласие ( _po ) между оценщиками.

Сначала мы рассчитаем относительное согласие между оценщиками. Это просто доля общего количества баллов, на которую оба оценщика ответили «Да» или «Нет».

Мы можем рассчитать это следующим образом:

• p _o = (Оба сказали «да» + Оба сказали «нет») / (Общее количество баллов)
• р _о = (25 + 20)/(70) = 0,6429

Шаг 2: Рассчитайте гипотетическую вероятность случайного согласия (p _e ) между оценщиками.

Далее мы посчитаем вероятность того, что оценщикам удалось прийти к согласию по чистой случайности.

Это рассчитывается как общее количество раз, когда рецензент 1 сказал «Да», разделенное на общее количество ответов, умноженное на общее количество раз, когда рецензент 2 сказал «Да», разделенное на общее количество ответов, добавленное к общей сумме. количество раз, когда эксперт 1 сказал «Нет», умноженное на общее количество раз, когда эксперт 2 сказал «Нет».

Для нашего примера это рассчитывается следующим образом:

• P («Да») = ((25+10)/70) * ((25+15)/70) = 0,285714
• P («Нет») = ((15+20)/70) * ((10+20)/70) = 0,214285
• р _е = 0,285714 + 0,214285 = 0,5

Шаг 3: Рассчитайте каппу Коэна

Наконец, мы будем использовать p _o и p _e для расчета каппы Коэна:

• k знак равно (п _о – п _е ) / (1 – п _е )
• к = (0,6429 – 0,5) / (1 – 0,5)
• к = 0,2857

Каппа Коэна оказывается равной 0,2857 . Основываясь на предыдущей таблице, мы бы сказали, что у двух оценщиков был лишь «достаточно» уровень согласия.

Дополнительные ресурсы

Вы можете использовать этот калькулятор каппа Коэна для автоматического расчета каппа Коэна для двух оценщиков.