Come calcolare il coefficiente di correlazione intraclasse in r

Un coefficiente di correlazione intraclasse (ICC) viene utilizzato per determinare se elementi o argomenti possono essere valutati in modo affidabile da valutatori diversi.

Il valore di un ICC può variare da 0 a 1, dove 0 indica assenza di affidabilità tra i valutatori e 1 indica perfetta affidabilità.

Il modo più semplice per calcolare ICC in R è utilizzare la funzione icc() dal pacchetto irr , che utilizza la seguente sintassi:

icc (classificazioni, modello, tipo, unità)

Oro:

• note: un database o matrice di note
• modello: il tipo di modello da utilizzare. Le opzioni includono “unidirezionale” o “bidirezionale”
• tipo: il tipo di relazione da calcolare tra i valutatori. Le opzioni includono “coerenza” o “accordo”
• unità: l’unità di analisi. Le opzioni includono “semplice” o “medio”

Questo tutorial fornisce un esempio pratico di utilizzo di questa funzionalità.

Passaggio 1: creare i dati

Supponiamo che a quattro giudici diversi venga chiesto di valutare la qualità di 10 diversi esami di ammissione all’università. Possiamo creare il seguente dataframe per contenere i punteggi dei giudici:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Passaggio 2: calcolare il coefficiente di correlazione intraclasse

Supponiamo che i quattro giudici siano stati selezionati casualmente da una popolazione di giudici qualificati per l’esame di ammissione e di voler misurare l’accordo assoluto tra i giudici e di voler utilizzare i punteggi dal punto di vista di un solo valutatore come base della nostra misurazione.

Possiamo utilizzare il seguente codice in R per adattare un modello a due vie , utilizzando l’accordo assoluto come relazione tra i valutatori e utilizzando la singola unità come unità di interesse:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Il coefficiente di correlazione intraclasse (ICC) è risultato pari a 0,782 .

Ecco come interpretare il valore di un coefficiente di correlazione intraclasse, secondo Koo & Li :

• Meno di 0,50: scarsa affidabilità
• Tra 0,5 e 0,75: affidabilità moderata
• Tra 0,75 e 0,9: buona affidabilità
• Maggiore di 0,9: affidabilità eccellente

Pertanto, concluderemmo che un ICC di 0,782 indica che gli esami possono essere valutati con “buona” affidabilità da valutatori diversi.

Una nota sul calcolo dell’ICC

Esistono diverse versioni di un ICC che possono essere calcolate, a seconda dei seguenti tre fattori:

• Modello: effetti casuali unidirezionali, effetti casuali bidirezionali o effetti misti bidirezionali
• Tipo di rapporto: coerenza o accordo assoluto
• Unità: singolo valutatore o media dei valutatori

Nell’esempio precedente, l’ICC calcolato utilizzava le seguenti ipotesi:

• Modello: effetti casuali bidirezionali
• Tipo di rapporto: accordo assoluto
• Unità: Valutatore singolo

Per una spiegazione dettagliata di queste ipotesi, fare riferimento a questo articolo .