Как рассчитать коэффициент внутриклассовой корреляции в r

Коэффициент внутриклассовой корреляции (ICC) используется для определения того, могут ли элементы или темы быть надежно оценены разными экспертами.

Значение ICC может варьироваться от 0 до 1, где 0 указывает на отсутствие надежности среди оценщиков, а 1 указывает на идеальную надежность.

Самый простой способ вычислить ICC в R — использовать функцию icc() из пакета irr , которая использует следующий синтаксис:

icc (классификация, модель, тип, единица измерения)

Золото:

• примечания: база данных или матрица примечаний.
• модель: тип используемой модели. Варианты включают «односторонний» или «двусторонний».
• тип: Тип взаимосвязи, которую нужно рассчитать между оценщиками. Варианты включают «согласованность» или «согласие».
• единица измерения: единица анализа. Варианты включают «простой» или «средний».

В этом руководстве представлен практический пример использования этой функции.

Шаг 1. Создайте данные

Предположим, четырех разных судей просят оценить качество 10 различных вступительных экзаменов в колледж. Мы можем создать следующий фрейм данных для хранения оценок судей:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Шаг 2: Рассчитайте коэффициент внутриклассовой корреляции

Предположим, что четыре судьи были случайным образом выбраны из группы квалифицированных судей для вступительного экзамена, и мы хотели измерить абсолютное согласие между судьями и использовать оценки с точки зрения только одного оценщика в качестве основы для нашего измерения.

Мы можем использовать следующий код на R, чтобы соответствовать двусторонней модели , используя абсолютное согласие в качестве отношения между оценщиками и используя одну единицу в качестве интересующей единицы:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Коэффициент внутриклассовой корреляции (ICC) оказался равным 0,782 .

Вот как интерпретировать значение коэффициента внутриклассовой корреляции, по мнению Ку и Ли :

• Менее 0,50: низкая надежность.
• От 0,5 до 0,75: средняя надежность.
• Между 0,75 и 0,9: хорошая надежность.
• Больше 0,9: отличная надежность.

Таким образом, мы можем сделать вывод, что ICC, равный 0,782, указывает на то, что экзамены могут быть оценены с «хорошей» надежностью разными экспертами.

Примечание о расчете ICC

Существует несколько различных версий ICC, которые можно рассчитать в зависимости от следующих трех факторов:

• Модель: односторонние случайные эффекты, двусторонние случайные эффекты или двусторонние смешанные эффекты.
• Тип отношений: последовательность или абсолютное согласие.
• Единица измерения: один оценщик или среднее значение оценщиков.

В предыдущем примере при расчете ICC использовались следующие допущения:

• Модель: двусторонние случайные эффекты
• Тип отношений: Абсолютное согласие
• Подразделение: Один эксперт

Подробное объяснение этих предположений можно найти в этой статье .