Cara menghitung kappa cohen di r

Dalam statistik, Kappa Cohen digunakan untuk mengukur tingkat kesepakatan antara dua penilai atau hakim yang mengklasifikasikan setiap item ke dalam kategori yang saling eksklusif.

Rumus kappa Cohen dihitung sebagai berikut:

k = ( _po – _pe ) / (1 – _pe )

Emas:

• p _o : Kesepakatan relatif yang diamati di antara para evaluator
• _pe : Probabilitas hipotetis dari kesepakatan kebetulan

Daripada hanya menghitung persentase item yang disetujui oleh penilai, Kappa Cohen mencoba menjelaskan fakta bahwa penilai mungkin menyetujui beberapa item hanya secara kebetulan.

Nilai Kappa Cohen selalu antara 0 dan 1 dimana:

• 0 menunjukkan tidak ada kesepakatan antara kedua pengulas
• 1 menunjukkan kesepakatan sempurna antara kedua evaluator

Tabel berikut merangkum cara menafsirkan nilai-nilai Kappa Cohen yang berbeda:

Cara termudah untuk menghitung Kappa Cohen di R adalah dengan menggunakan fungsi cohen.kappa() dari paket psych .

Contoh berikut menunjukkan cara menggunakan fungsi ini dalam praktiknya.

Contoh: Hitung Kappa Cohen di R

Misalkan dua kurator di sebuah museum seni diminta mengevaluasi 15 lukisan untuk melihat apakah lukisan tersebut cukup bagus untuk dipajang di pameran baru.

Kode berikut menunjukkan cara menggunakan fungsi cohen.kappa() dari paket psych untuk menghitung Kappa Cohen untuk dua penilai:

 library (psych)

#define vector of ratings for both raters
miss1 = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 0]
miss2 = [0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0]

#calculate Cohen's Kappa
Cohen. kappa (x=cbind(miss1,miss2))

Cohen Kappa and Weighted Kappa correlation coefficients and confidence boundaries 
                 lower estimate upper
unweighted kappa -0.14 0.34 0.81
weighted kappa -0.14 0.34 0.81

 Number of subjects = 15 

Kolom perkiraan menampilkan nilai Kappa Cohen.

Dari hasil tersebut terlihat bahwa Kappa Cohen ternyata adalah 0,34 .

Berdasarkan tabel sebelumnya, kita dapat mengatakan bahwa kedua penilai hanya memiliki tingkat kesepakatan yang “cukup”.

Jika Anda ingin menghitung tingkat kesepakatan antara tiga penilai atau lebih, disarankan untuk menggunakan Kappa Fleiss.

Sumber daya tambahan

Tutorial berikut menyediakan sumber tambahan tentang Cohen’s Kappa:

Pengantar Kappa Cohen
Kalkulator Kappa Cohen Online
Cara Menghitung Kappa Cohen di Excel
Cara Menghitung Kappa Cohen dengan Python