Cara menghitung koefisien korelasi intrakelas di r

Koefisien korelasi intrakelas (ICC) digunakan untuk menentukan apakah item atau topik dapat dinilai secara andal oleh penilai yang berbeda.

Nilai ICC dapat berkisar dari 0 hingga 1, dengan 0 menunjukkan tidak ada reliabilitas di antara penilai dan 1 menunjukkan reliabilitas sempurna.

Cara termudah untuk menghitung ICC di R adalah dengan menggunakan fungsi icc() dari paket irr , yang menggunakan sintaks berikut:

icc (klasifikasi, model, tipe, unit)

Emas:

• catatan: database atau matriks catatan
• model: Jenis model yang akan digunakan. Pilihannya mencakup “satu arah” atau “dua arah”
• type: Jenis hubungan yang akan dihitung antar evaluator. Pilihannya mencakup “konsistensi” atau “kesepakatan”
• unit: unit analisis. Pilihannya mencakup “sederhana” atau “sedang”

Tutorial ini memberikan contoh praktis penggunaan fitur ini.

Langkah 1: Buat datanya

Misalkan empat juri berbeda diminta untuk mengevaluasi kualitas 10 ujian masuk perguruan tinggi yang berbeda. Kita dapat membuat kerangka data berikut untuk menampung skor juri:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

Langkah 2: Hitung koefisien korelasi intrakelas

Misalkan keempat juri dipilih secara acak dari populasi juri yang memenuhi syarat untuk ujian masuk dan kita ingin mengukur kesepakatan mutlak antara juri dan kita ingin menggunakan skor dari sudut pandang satu evaluator saja sebagai dasar pengukuran kita.

Kita dapat menggunakan kode berikut di R agar sesuai dengan model dua arah , menggunakan persetujuan absolut sebagai hubungan antara penilai dan menggunakan unit tunggal sebagai unit kepentingan:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

Koefisien korelasi intrakelas (ICC) ditemukan sebesar 0,782 .

Berikut cara mengartikan nilai koefisien korelasi intrakelas menurut Koo & Li :

• Kurang dari 0,50: keandalan buruk
• Antara 0,5 dan 0,75: Keandalan sedang
• Antara 0,75 dan 0,9: Keandalan yang baik
• Lebih besar dari 0,9: Keandalan luar biasa

Oleh karena itu, kita dapat menyimpulkan bahwa ICC sebesar 0,782 menunjukkan bahwa ujian dapat dinilai dengan reliabilitas “baik” oleh penilai yang berbeda.

Catatan tentang penghitungan ICC

Ada beberapa versi berbeda dari ICC yang dapat dihitung, bergantung pada tiga faktor berikut:

• Model: efek acak satu arah, efek acak dua arah, atau efek campuran dua arah
• Jenis hubungan: konsistensi atau kesepakatan mutlak
• Unit: penilai tunggal atau rata-rata penilai

Pada contoh sebelumnya, ICC yang kami hitung menggunakan asumsi berikut:

• Model: efek acak dua arah
• Jenis hubungan: Kesepakatan mutlak
• Satuan : Asesor Tunggal

Untuk penjelasan rinci mengenai asumsi tersebut, silakan merujuk ke artikel ini .