Comment calculer le coefficient de corrélation intraclasse dans R

Un coefficient de corrélation intraclasse (ICC) est utilisé pour déterminer si les éléments ou les sujets peuvent être évalués de manière fiable par différents évaluateurs.

La valeur d’un ICC peut varier de 0 à 1, 0 indiquant une absence de fiabilité parmi les évaluateurs et 1 indiquant une fiabilité parfaite.

Le moyen le plus simple de calculer l’ICC dans R est d’utiliser la fonction icc() du package irr , qui utilise la syntaxe suivante :

icc (classifications, modèle, type, unité)

où:

• notes : une base de données ou une matrice de notes
• model : Le type de modèle à utiliser. Les options incluent « aller simple » ou « bidirectionnel »
• type : Le type de relation à calculer entre les évaluateurs. Les options incluent « cohérence » ou « accord »
• unité : l’unité d’analyse. Les options incluent « simple » ou « moyenne »

Ce didacticiel fournit un exemple d’utilisation pratique de cette fonction.

Étape 1 : Créer les données

Supposons que quatre juges différents soient invités à évaluer la qualité de 10 examens d’entrée à l’université différents. Nous pouvons créer la trame de données suivante pour conserver les notes des juges :

#create data
data <- data.frame(A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Étape 2 : Calculer le coefficient de corrélation intraclasse

Supposons que les quatre juges aient été sélectionnés au hasard parmi une population de juges qualifiés pour l’examen d’entrée et que nous souhaitions mesurer l’accord absolu entre les juges et que nous souhaitions utiliser les notes du point de vue d’un seul évaluateur comme base de notre mesure.

Nous pouvons utiliser le code suivant dans R pour ajuster un modèle bidirectionnel , en utilisant l’accord absolu comme relation entre les évaluateurs et en utilisant l’unité unique comme unité d’intérêt :

#load the interrater reliability package
library(irr)

#define data
data <- data.frame(A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = "twoway", type = "agreement", unit = "single")

   Model: twoway 
   Type : agreement 

   Subjects = 10 
     Raters = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0 ; H1: r0 > 0 
    F(9,30) = 15.3 , p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Le coefficient de corrélation intraclasse (ICC) s’avère être de 0,782 .

Voici comment interpréter la valeur d’un coefficient de corrélation intraclasse, selon Koo & Li :

• Moins de 0,50 : mauvaise fiabilité
• Entre 0,5 et 0,75 : Fiabilité modérée
• Entre 0,75 et 0,9 : Bonne fiabilité
• Supérieur à 0,9 : Excellente fiabilité

Ainsi, nous conclurions qu’un ICC de 0,782 indique que les examens peuvent être notés avec une « bonne » fiabilité par différents évaluateurs.

Une note sur le calcul de l’ICC

Il existe plusieurs versions différentes d’un ICC qui peuvent être calculées, en fonction des trois facteurs suivants :

• Modèle : effets aléatoires unidirectionnels, effets aléatoires bidirectionnels ou effets mixtes bidirectionnels
• Type de relation : cohérence ou accord absolu
• Unité : évaluateur unique ou moyenne des évaluateurs

Dans l’exemple précédent, l’ICC que nous avons calculé utilisait les hypothèses suivantes :

• Modèle : effets aléatoires bidirectionnels
• Type de relation : Accord absolu
• Unité : Évaluateur unique

Pour une explication détaillée de ces hypothèses, veuillez vous référer à cet article .