Hoe de intraclass-correlatiecoëfficiënt in r te berekenen

Een intraclass correlatiecoëfficiënt (ICC) wordt gebruikt om te bepalen of items of onderwerpen betrouwbaar kunnen worden beoordeeld door verschillende beoordelaars.

De waarde van een ICC kan variëren van 0 tot 1, waarbij 0 duidt op geen betrouwbaarheid onder de beoordelaars en 1 op perfecte betrouwbaarheid.

De eenvoudigste manier om ICC in R te berekenen is door de functie icc() uit het irr- pakket te gebruiken, die de volgende syntaxis gebruikt:

icc (classificaties, model, type, eenheid)

Goud:

• notities: een database of matrix van notities
• model: Het type model dat u wilt gebruiken. Opties zijn onder meer “eenrichtingsverkeer” of “tweerichtingsverkeer”
• type: Het type relatie dat tussen beoordelaars moet worden berekend. Opties zijn onder meer “consistentie” of “overeenkomst”
• eenheid: de eenheid van analyse. Opties zijn onder meer “eenvoudig” of “medium”

Deze tutorial geeft een praktisch voorbeeld van het gebruik van deze functie.

Stap 1: Creëer de gegevens

Stel dat aan vier verschillende juryleden wordt gevraagd de kwaliteit van tien verschillende toelatingsexamens voor universiteiten te beoordelen. We kunnen het volgende dataframe maken om de scores van de juryleden bij te houden:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Stap 2: Bereken de correlatiecoëfficiënt binnen de klasse

Stel dat de vier juryleden willekeurig werden geselecteerd uit een populatie van gekwalificeerde juryleden voor het toelatingsexamen en we de absolute overeenstemming tussen de juryleden wilden meten en we de scores vanuit het perspectief van slechts één beoordelaar als basis voor onze meting wilden gebruiken.

We kunnen de volgende code in R gebruiken om een tweerichtingsmodel in te passen, waarbij absolute overeenstemming wordt gebruikt als de relatie tussen beoordelaars en de enkele eenheid wordt gebruikt als de eenheid van belang:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

De intraclasscorrelatiecoëfficiënt (ICC) bleek 0,782 te zijn.

Zo interpreteer je de waarde van een correlatiecoëfficiënt tussen klassen, volgens Koo & Li :

• Minder dan 0,50: slechte betrouwbaarheid
• Tussen 0,5 en 0,75: matige betrouwbaarheid
• Tussen 0,75 en 0,9: Goede betrouwbaarheid
• Groter dan 0,9: Uitstekende betrouwbaarheid

We zouden dus kunnen concluderen dat een ICC van 0,782 aangeeft dat examens door verschillende beoordelaars met “goede” betrouwbaarheid kunnen worden gescoord.

Een opmerking over het berekenen van ICC

Er zijn verschillende versies van een ICC die kunnen worden berekend, afhankelijk van de volgende drie factoren:

• Model: willekeurige effecten in één richting, willekeurige effecten in twee richtingen of gemengde effecten in twee richtingen
• Type relatie: consistentie of absolute overeenstemming
• Eenheid: enkele beoordelaar of gemiddelde van beoordelaars

In het vorige voorbeeld werd bij de door ons berekende ICC gebruik gemaakt van de volgende aannames:

• Model: willekeurige effecten in twee richtingen
• Type relatie: Absolute overeenkomst
• Eenheid: enkele beoordelaar

Voor een uitgebreide toelichting op deze aannames verwijzen wij u naar dit artikel .