Statistik kappa cohen: definisi & contoh

Statistik Kappa Cohen digunakan untuk mengukur tingkat kesepakatan antara dua penilai atau juri yang masing-masing mengklasifikasikan item ke dalam kategori yang saling eksklusif.

Rumus kappa Cohen dihitung sebagai berikut:

k = ( _po – _pe ) / (1 – _pe )

Emas:

• p _o : Kesepakatan relatif yang diamati di antara para evaluator
• _pe : Probabilitas hipotetis dari kesepakatan kebetulan

Daripada hanya menghitung persentase item yang disetujui oleh penilai, Kappa Cohen mencoba menjelaskan fakta bahwa penilai mungkin menyetujui beberapa item hanya secara kebetulan.

Bagaimana menafsirkan Kappa Cohen

Kappa Cohen selalu berada di antara 0 dan 1, dengan 0 menunjukkan tidak ada kesepakatan antara kedua penilai dan 1 menunjukkan kesepakatan sempurna antara kedua penilai.

Tabel berikut merangkum cara menafsirkan nilai-nilai Kappa Cohen yang berbeda:

Contoh langkah demi langkah berikut menunjukkan cara menghitung Kappa Cohen secara manual.

Hitung Kappa Cohen: contoh langkah demi langkah

Misalkan dua kurator museum diminta mengevaluasi 70 lukisan untuk melihat apakah lukisan tersebut cukup bagus untuk dipajang di pameran baru.

Berikut tabel 2×2 hasil evaluasinya:

Langkah 1: Hitung kesepakatan relatif ( _po ) antara penilai.

Pertama, kami akan menghitung kesepakatan relatif antar penilai. Ini hanyalah proporsi skor total dimana kedua penilai menjawab “Ya” atau “Tidak”.

Kita dapat menghitungnya sebagai berikut:

• p _o = (Keduanya menjawab ya + Keduanya menjawab tidak) / (Total skor)
• p _o = (25 + 20) / (70) = 0,6429

Langkah 2: Hitung probabilitas hipotetis dari kesepakatan kebetulan ( _pe ) antara penilai.

Selanjutnya, kita akan menghitung probabilitas bahwa para penilai dapat menyetujuinya secara kebetulan.

Hal ini dihitung dengan total berapa kali reviewer 1 mengatakan “Ya”, dibagi dengan jumlah total tanggapan, dikalikan dengan berapa kali reviewer 2 mengatakan “Ya”, dibagi dengan jumlah total tanggapan, ditambah total. berapa kali penilai 1 mengatakan “Tidak”, dikalikan dengan berapa kali penilai 2 mengatakan “Tidak”.

Sebagai contoh kita, ini dihitung sebagai berikut:

• P(“Ya”) = ((25+10)/70) * ((25+15)/70) = 0,285714
• P(“Tidak”) = ((15+20)/70) * ((10+20)/70) = 0,214285
• _pe = 0,285714 + 0,214285 = 0,5

Langkah 3: Hitung Kappa Cohen

Terakhir, kita akan menggunakan p _o dan _pe untuk menghitung Kappa Cohen:

• k = ( _po – _pe ) / (1 – _pe )
• k = (0,6429 – 0,5) / (1 – 0,5)
• k = 0,2857

Kappa Cohen ternyata 0,2857 . Berdasarkan tabel sebelumnya, kita dapat mengatakan bahwa kedua penilai hanya memiliki tingkat kesepakatan yang “cukup”.

Sumber daya tambahan

Anda dapat menggunakan kalkulator Kappa Cohen ini untuk menghitung Kappa Cohen secara otomatis untuk dua penilai.