Cara menghitung kappa fleiss di excel

Kappa Fleiss adalah cara untuk mengukur tingkat kesepakatan antara tiga atau lebih penilai ketika penilai memberikan peringkat kategorikal pada serangkaian item.

Kappa Fleiss berubah dari 0 ke 1 di mana:

• 0 menunjukkan tidak adanya kesepakatan antar reviewer.
• 1 menunjukkan kesepakatan sempurna antara penilai.

Tutorial ini memberikan contoh cara menghitung Kappa Fleiss di Excel.

Contoh: Fleiss Kappa di Excel

Katakanlah 14 orang menilai 10 produk berbeda dalam skala dari buruk hingga sangat baik.

Tangkapan layar berikut menampilkan total peringkat yang diterima setiap produk:

Tangkapan layar berikut memperlihatkan cara menghitung Kappa Fleiss untuk data ini di Excel:

Perhitungan tersulit dalam tangkapan layar ini ada di kolom J. Rumus yang digunakan untuk perhitungan ini ditampilkan dalam kotak teks di bagian atas layar.

Perhatikan bahwa Fleiss Kappa dalam contoh ini ternyata 0.2099 . Rumus sebenarnya yang digunakan untuk menghitung nilai ini di sel C18 adalah:

Kappa Fleiss = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Meskipun tidak ada cara formal untuk menafsirkan Kappa Fleiss, nilai-nilai berikut menunjukkan bagaimana menafsirkan Kappa Cohen, yang digunakan untuk menilai tingkat kesepakatan antar penilai antara dua penilai saja:

• <0,20 | Miskin
• .21 – .40 | Adil
• .41 – .60 | Sedang
• 0,61 – 0,80 | BAGUS
• 0,81 – 1 | Baiklah

Berdasarkan nilai-nilai ini, Fleiss Kappa sebesar 0,2099 dalam contoh kita akan ditafsirkan sebagai tingkat kesepakatan antar penilai yang “adil”.