Jak obliczyć kappa fleissa w excelu

Kappa Fleissa to sposób pomiaru stopnia zgodności między trzema lub większą liczbą oceniających, gdy oceniający przypisują oceny kategoryczne zbiorowi elementów.

Kappa Fleissa zmienia się od 0 do 1, gdzie:

• Wartość 0 oznacza brak porozumienia pomiędzy recenzentami.
• 1 oznacza doskonałą zgodność pomiędzy oceniającymi.

W tym samouczku przedstawiono przykład obliczenia Kappa Fleissa w programie Excel.

Przykład: Fleiss Kappa w Excelu

Załóżmy, że 14 osób oceniło 10 różnych produktów w skali od słabej do doskonałej.

Poniższy zrzut ekranu przedstawia łączną ocenę otrzymaną przez każdy produkt:

Poniższy zrzut ekranu pokazuje, jak obliczyć Kappa Fleissa dla tych danych w programie Excel:

Najtrudniejsze obliczenia na tym zrzucie ekranu znajdują się w kolumnie J. Wzór użyty do tych obliczeń jest wyświetlany w polu tekstowym u góry ekranu.

Należy zauważyć, że Fleiss Kappa w tym przykładzie wynosi 0,2099 . Rzeczywista formuła używana do obliczenia tej wartości w komórce C18 to:

Kappa Fleissa = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

tam Chociaż nie ma formalnego sposobu interpretacji Kappa Fleissa, poniższe wartości pokazują, jak interpretować Kappa Cohena, która jest używana do oceny poziomu zgodności między oceniającymi tylko pomiędzy dwoma oceniającymi:

• <0,20 | Słaby
• 0,21 – 0,40 | Sprawiedliwy
• 0,41 – 0,60 | Umiarkowany
• 0,61 – 0,80 | DOBRY
• 0,81 – 1 | W porządku

W oparciu o te wartości, Fleiss Kappa wynoszący 0,2099 w naszym przykładzie będzie interpretowany jako „uzasadniony” poziom zgodności między oceniającymi.