Jak obliczyć współczynnik korelacji wewnątrzklasowej w r

Współczynnik korelacji wewnątrzklasowej (ICC) służy do określenia, czy pozycje lub tematy mogą być wiarygodnie ocenione przez różnych oceniających.

Wartość ICC może mieścić się w przedziale od 0 do 1, gdzie 0 oznacza brak wiarygodności wśród oceniających, a 1 oznacza doskonałą niezawodność.

Najłatwiejszym sposobem obliczenia ICC w R jest użycie funkcji icc() z pakietu irr , która wykorzystuje następującą składnię:

icc (klasyfikacje, model, typ, jednostka)

Złoto:

• notatki: baza danych lub macierz notatek
• model: typ używanego modelu. Opcje obejmują „jednokierunkową” lub „dwukierunkową”
• typ: typ relacji do obliczenia pomiędzy oceniającymi. Opcje obejmują „spójność” lub „umowa”
• jednostka: jednostka analizy. Opcje obejmują „prosty” lub „średni”

W tym samouczku przedstawiono praktyczny przykład użycia tej funkcji.

Krok 1: Utwórz dane

Załóżmy, że czterech różnych sędziów zostaje poproszonych o ocenę jakości 10 różnych egzaminów wstępnych na studia. Możemy utworzyć następującą ramkę danych do przechowywania ocen sędziów:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Krok 2: Oblicz współczynnik korelacji wewnątrzklasowej

Załóżmy, że czterech sędziów zostało losowo wybranych z populacji wykwalifikowanych sędziów do egzaminu wstępnego i chcieliśmy zmierzyć absolutną zgodność między sędziami, a jako podstawę naszego pomiaru chcieliśmy wykorzystać wyniki z perspektywy tylko jednego oceniającego.

Możemy użyć następującego kodu w języku R, aby dopasować model dwukierunkowy , stosując absolutną zgodność jako relację między oceniającymi i używając pojedynczej jednostki jako jednostki zainteresowania:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Stwierdzono, że współczynnik korelacji wewnątrzklasowej (ICC) wynosi 0,782 .

Według Koo i Li , oto jak interpretować wartość współczynnika korelacji wewnątrzklasowej:

• Mniej niż 0,50: słaba niezawodność
• Między 0,5 a 0,75: Umiarkowana niezawodność
• Między 0,75 a 0,9: Dobra niezawodność
• Większa niż 0,9: Doskonała niezawodność

Można zatem stwierdzić, że ICC wynoszący 0,782 wskazuje, że różni osoby oceniające mogą oceniać egzaminy z „dobrą” wiarygodnością.

Uwaga dotycząca obliczania ICC

Istnieje kilka różnych wersji ICC, które można obliczyć, w zależności od następujących trzech czynników:

• Model: jednokierunkowe efekty losowe, dwukierunkowe efekty losowe lub dwukierunkowe efekty mieszane
• Rodzaj relacji: konsekwencja lub absolutna zgoda
• Jednostka: pojedynczy oceniający lub średnia oceniających

W poprzednim przykładzie obliczony przez nas ICC przyjął następujące założenia:

• Model: dwukierunkowe efekty losowe
• Rodzaj relacji: Absolutna zgoda
• Jednostka: Pojedynczy asesor

Szczegółowe wyjaśnienie tych założeń znajdziesz w tym artykule .