Excel'de fleiss'in kappa'sı nasıl hesaplanır?

Fleiss’ Kappa, değerlendiriciler bir dizi öğeye kategorik derecelendirmeler atadığında, üç veya daha fazla değerlendirici arasındaki anlaşmanın derecesini ölçmenin bir yoludur.

Fleiss’in Kappa’sı 0’dan 1’e gider; burada:

• 0 , gözden geçirenler arasında bir anlaşma olmadığını gösterir.
• 1 puanlayıcılar arasındaki mükemmel uyumu gösterir.

Bu eğitimde Fleiss’in Kappa’sının Excel’de nasıl hesaplanacağına dair bir örnek verilmektedir.

Örnek: Excel’de Fleiss Kappa

Diyelim ki 14 kişi 10 farklı ürünü kötüden mükemmele kadar derecelendiriyor.

Aşağıdaki ekran görüntüsü her ürünün aldığı toplam derecelendirmeyi göstermektedir:

Aşağıdaki ekran görüntüsü Excel’de bu veriler için Fleiss’in Kappa’sının nasıl hesaplanacağını gösterir:

Bu ekran görüntüsündeki en zorlu hesaplamalar J sütunundadır. Bu hesaplamalar için kullanılan formül, ekranın üst kısmındaki metin kutusunda görüntülenir.

Bu örnekte Fleiss Kappa’nın 0,2099 olduğunu unutmayın. C18 hücresindeki bu değeri hesaplamak için kullanılan gerçek formül şöyledir:

Fleiss’in kappası = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Fleiss’in Kappa’sını yorumlamanın resmi bir yolu olmasa da, aşağıdaki değerler yalnızca iki değerlendirici arasındaki değerlendiriciler arası uyum düzeyini değerlendirmek için kullanılan Cohen’in Kappa’sının nasıl yorumlanacağını göstermektedir:

• <0,20 | Fakir
• .21 – .40 | Adil
• .41 – .60 | Ilıman
• 0,61 – 0,80 | İYİ
• 0,81 – 1 | Peki

Bu değerlere dayanarak, örneğimizdeki 0,2099’luk Fleiss Kappa, değerlendiriciler arası anlaşmanın “adil” düzeyi olarak yorumlanacaktır.