Статистика каппа коена: визначення та приклад

Статистика Каппа Коена використовується для вимірювання рівня згоди між двома оцінювачами або суддями, кожен з яких класифікує елементи у взаємовиключні категорії.

Формула каппа Коена розраховується наступним чином:

k = (p _o – p _e ) / (1 – p _e )

золото:

• p _o : Відносна згода між оцінювачами
• p _e : Гіпотетична ймовірність випадкової згоди

Замість того, щоб просто обчислювати відсоток пунктів, з якими погоджуються оцінювачі, Каппа Коена намагається пояснити той факт, що оцінювачі можуть погоджуватися щодо деяких пунктів просто випадково.

Як інтерпретувати каппу Коена

Каппа Коена завжди знаходиться між 0 і 1, причому 0 вказує на відсутність згоди між двома оцінювачами, а 1 вказує на повну згоду між двома оцінювачами.

У наступній таблиці підсумовано, як інтерпретувати різні значення Каппа Коена:

У наведеному нижче покроковому прикладі показано, як вручну обчислити капу Коена.

Обчисліть каппу Коена: покроковий приклад

Припустімо, що двох кураторів музею просять оцінити 70 картин, щоб перевірити, чи вони достатньо хороші для показу на новій виставці.

Наступна таблиця 2×2 показує результати оцінювання:

Крок 1: Обчисліть відносну згоду (p _o ) між оцінювачами.

Спочатку ми розрахуємо відносну згоду між оцінювачами. Це просто частка загальних балів, на яку обидва оцінювачі відповіли «Так» або «Ні».

Ми можемо розрахувати це таким чином:

• p _o = (Обидва сказали так + Обидва сказали ні) / (Загальна кількість балів)
• p _o = (25 + 20) / (70) = 0,6429

Крок 2: Обчисліть гіпотетичну ймовірність випадкової згоди (p _e ) між оцінювачами.

Далі ми обчислимо ймовірність того, що оцінювачі змогли дійти згоди завдяки чистому щастя.

Це обчислюється як загальна кількість разів, коли рецензент 1 сказав «Так», поділена на загальну кількість відповідей, помножена на загальну кількість разів, коли рецензент 2 сказав «Так», поділена на загальну кількість відповідей, додана до загальної суми. кількість разів, коли оцінювач 1 сказав «Ні», помножити на загальну кількість разів, коли оцінювач 2 сказав «Ні».

Для нашого прикладу це обчислюється так:

• P(«Так») = ((25+10)/70) * ((25+15)/70) = 0,285714
• P(“Ні”) = ((15+20)/70) * ((10+20)/70) = 0,214285
• p _e = 0,285714 + 0,214285 = 0,5

Крок 3: Обчисліть каппу Коена

Нарешті, ми використаємо p _o та p _e для обчислення Каппа Коена:

• k = (p _o – p _e ) / (1 – p _e )
• k = (0,6429 – 0,5) / (1 – 0,5)
• k = 0,2857

Каппа Коена виявляється 0,2857 . Виходячи з попередньої таблиці, ми б сказали, що два оцінювачі мали лише «достатньо» рівень згоди.

Додаткові ресурси

Ви можете використовувати цей калькулятор Каппа Коена для автоматичного розрахунку Каппа Коена для двох оцінювачів.