Як розрахувати внутрішньокласовий коефіцієнт кореляції в r

Внутрішньокласовий коефіцієнт кореляції (ICC) використовується для визначення того, чи можуть предмети або теми бути надійно оцінені різними оцінювачами.

Значення ICC може коливатися від 0 до 1, де 0 вказує на відсутність надійності серед оцінювачів, а 1 вказує на повну надійність.

Найпростіший спосіб обчислення ICC у R — це використання функції icc() із пакета irr , яка використовує такий синтаксис:

icc (класифікація, модель, тип, одиниця)

золото:

• нотатки: база даних або матриця нотаток
• модель: тип моделі для використання. Варіанти включають «односторонній» або «двосторонній»
• тип: тип зв’язку для обчислення між оцінювачами. Варіанти включають «послідовність» або «узгодженість»
• unit: одиниця аналізу. Варіанти включають «простий» або «середній»

Цей підручник містить практичний приклад використання цієї функції.

Крок 1: Створіть дані

Припустімо, чотирьох різних суддів просять оцінити якість 10 різних вступних іспитів до коледжу. Ми можемо створити такий фрейм даних для зберігання оцінок суддів:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Крок 2: Розрахувати внутрішньокласовий коефіцієнт кореляції

Припустімо, що чотири судді були випадковим чином обрані з групи кваліфікованих суддів для вступного іспиту, і ми хотіли виміряти абсолютну згоду між суддями, і ми хотіли використовувати бали з точки зору лише одного оцінювача як основу нашого вимірювання.

Ми можемо використати наступний код у R, щоб відповідати двосторонній моделі , використовуючи абсолютну згоду як відношення між оцінювачами та використовуючи одну одиницю як одиницю інтересу:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Коефіцієнт внутрішньокласової кореляції (ICC) склав 0,782 .

Ось як інтерпретувати значення внутрішньокласового коефіцієнта кореляції згідно з Ку та Лі :

• Менше 0,50: низька надійність
• Між 0,5 і 0,75: помірна надійність
• Між 0,75 і 0,9: хороша надійність
• Більше 0,9: відмінна надійність

Таким чином, ми робимо висновок, що ICC 0,782 вказує на те, що іспити можуть бути оцінені з «хорошою» надійністю різними оцінювачами.

Пам’ятка щодо розрахунку ICC

Існує кілька різних версій ICC, які можна розрахувати залежно від таких трьох факторів:

• Модель: односторонні випадкові ефекти, двосторонні випадкові ефекти або двосторонні змішані ефекти
• Тип відносин: послідовність або абсолютна згода
• Одиниця: окремий оцінювач або середнє значення оцінювачів

У попередньому прикладі ICC, який ми розрахували, використовував такі припущення:

• Модель: двосторонні випадкові ефекти
• Тип відносин: Повна згода
• Підрозділ: один оцінювач

Щоб отримати детальне пояснення цих припущень, зверніться до цієї статті .