So berechnen sie den klasseninternen korrelationskoeffizienten in r

Mithilfe eines Intraclass-Korrelationskoeffizienten (ICC) wird ermittelt, ob Elemente oder Themen von verschiedenen Bewertern zuverlässig bewertet werden können.

Der Wert eines ICC kann zwischen 0 und 1 liegen, wobei 0 für keine Zuverlässigkeit unter den Bewertern steht und 1 für vollkommene Zuverlässigkeit steht.

Der einfachste Weg, ICC in R zu berechnen, ist die Verwendung der Funktion icc() aus dem irr- Paket, die die folgende Syntax verwendet:

ICC (Klassifizierungen, Modell, Typ, Einheit)

Gold:

• Notizen: eine Datenbank oder Matrix von Notizen
• Modell: Der Typ des zu verwendenden Modells. Zu den Optionen gehören „einseitig“ oder „zweiseitig“.
• Typ: Der Typ der zwischen Bewertern zu berechnenden Beziehung. Zu den Optionen gehören „Konsistenz“ oder „Übereinstimmung“.
• Einheit: die Analyseeinheit. Zu den Optionen gehören „einfach“ oder „mittel“.

Dieses Tutorial bietet ein praktisches Beispiel für die Verwendung dieser Funktion.

Schritt 1: Erstellen Sie die Daten

Angenommen, vier verschiedene Richter werden gebeten, die Qualität von zehn verschiedenen Hochschulaufnahmeprüfungen zu bewerten. Wir können den folgenden Datenrahmen erstellen, um die Punkte der Jury zu speichern:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Schritt 2: Berechnen Sie den klasseninternen Korrelationskoeffizienten

Angenommen, die vier Richter wurden zufällig aus einer Gruppe qualifizierter Richter für die Aufnahmeprüfung ausgewählt und wir wollten die absolute Übereinstimmung zwischen den Richtern messen und die Ergebnisse aus der Perspektive nur eines Bewerters als Grundlage für unsere Messung verwenden.

Wir können den folgenden Code in R verwenden, um ein Zwei-Wege-Modell anzupassen, indem wir die absolute Übereinstimmung als Beziehung zwischen den Bewertern und die einzelne Einheit als interessierende Einheit verwenden:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Der klasseninterne Korrelationskoeffizient (ICC) betrug 0,782 .

So interpretieren Sie den Wert eines klasseninternen Korrelationskoeffizienten nach Koo & Li :

• Weniger als 0,50: schlechte Zuverlässigkeit
• Zwischen 0,5 und 0,75: Mäßige Zuverlässigkeit
• Zwischen 0,75 und 0,9: Gute Zuverlässigkeit
• Größer als 0,9: Hervorragende Zuverlässigkeit

Wir kommen daher zu dem Schluss, dass ein ICC von 0,782 anzeigt, dass Prüfungen von verschiedenen Bewertern mit „guter“ Zuverlässigkeit bewertet werden können.

Ein Hinweis zur Berechnung des ICC

Es gibt verschiedene Versionen eines ICC, die abhängig von den folgenden drei Faktoren berechnet werden können:

• Modell: Einweg-Zufallseffekte, Zwei-Wege-Zufallseffekte oder Zwei-Wege-Mischeffekte
• Art der Beziehung: Konsistenz oder absolute Übereinstimmung
• Einheit: Einzelbewerter oder Durchschnitt der Bewerter

Im vorherigen Beispiel verwendete der von uns berechnete ICC die folgenden Annahmen:

• Modell: Zwei-Wege-Zufallseffekte
• Art der Beziehung: Absolute Zustimmung
• Einheit: Einzelgutachter

Eine detaillierte Erläuterung dieser Annahmen finden Sie in diesem Artikel .