Como calcular o coeficiente de correlação intraclasse em r

Um coeficiente de correlação intraclasse (ICC) é usado para determinar se itens ou tópicos podem ser avaliados de forma confiável por diferentes avaliadores.

O valor de um ICC pode variar de 0 a 1, sendo que 0 indica nenhuma confiabilidade entre os avaliadores e 1 indica confiabilidade perfeita.

A maneira mais fácil de calcular o ICC em R é usar a função icc() do pacote irr , que usa a seguinte sintaxe:

icc (classificações, modelo, tipo, unidade)

Ouro:

• notas: um banco de dados ou matriz de notas
• model: O tipo de modelo a ser usado. As opções incluem “unidirecional” ou “bidirecional”
• type: O tipo de relacionamento a ser calculado entre os avaliadores. As opções incluem “consistência” ou “acordo”
• unidade: a unidade de análise. As opções incluem “simples” ou “médio”

Este tutorial fornece um exemplo prático de uso desse recurso.

Etapa 1: crie os dados

Suponha que quatro juízes diferentes sejam solicitados a avaliar a qualidade de 10 vestibulares diferentes. Podemos criar o seguinte dataframe para armazenar as pontuações dos juízes:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Passo 2: Calcular o coeficiente de correlação intraclasse

Suponha que os quatro juízes foram selecionados aleatoriamente de uma população de juízes qualificados para o vestibular e queríamos medir a concordância absoluta entre os juízes e queríamos usar as pontuações da perspectiva de apenas um avaliador como base de nossa medição.

Podemos usar o seguinte código em R para ajustar um modelo bidirecional , usando concordância absoluta como a relação entre avaliadores e usando a unidade única como unidade de interesse:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

O coeficiente de correlação intraclasse (CCI) foi de 0,782 .

Veja como interpretar o valor de um coeficiente de correlação intraclasse, segundo Koo & Li :

• Menos de 0,50: baixa confiabilidade
• Entre 0,5 e 0,75: Confiabilidade moderada
• Entre 0,75 e 0,9: Boa confiabilidade
• Maior que 0,9: Excelente confiabilidade

Assim, concluiríamos que um CCI de 0,782 indica que os exames podem ser pontuados com “boa” confiabilidade por diferentes avaliadores.

Uma nota sobre o cálculo do ICC

Existem várias versões diferentes de um ICC que podem ser calculadas, dependendo dos três fatores a seguir:

• Modelo: efeitos aleatórios unidirecionais, efeitos aleatórios bidirecionais ou efeitos mistos bidirecionais
• Tipo de relacionamento: consistência ou acordo absoluto
• Unidade: avaliador único ou média de avaliadores

No exemplo anterior, o ICC que calculamos utilizou as seguintes premissas:

• Modelo: efeitos aleatórios bidirecionais
• Tipo de relacionamento: Acordo absoluto
• Unidade: Avaliador Único

Para obter uma explicação detalhada dessas suposições, consulte este artigo .