So berechnen sie fleiss' kappa in excel

Fleiss‘ Kappa ist eine Möglichkeit, den Grad der Übereinstimmung zwischen drei oder mehr Bewertern zu messen, wenn Bewerter einer Reihe von Elementen kategorische Bewertungen zuweisen.

Fleiss‘ Kappa geht von 0 auf 1, wobei:

• 0 bedeutet, dass keine Einigung zwischen den Gutachtern besteht.
• 1 zeigt eine perfekte Übereinstimmung zwischen den Bewertern an.

Dieses Tutorial bietet ein Beispiel für die Berechnung von Fleiss‘ Kappa in Excel.

Beispiel: Fleiss Kappa in Excel

Nehmen wir an, 14 Personen bewerten 10 verschiedene Produkte auf einer Skala von schlecht bis ausgezeichnet.

Der folgende Screenshot zeigt die Gesamtbewertungen, die jedes Produkt erhalten hat:

Der folgende Screenshot zeigt, wie Fleiss‘ Kappa für diese Daten in Excel berechnet wird:

Die schwierigsten Berechnungen in diesem Screenshot befinden sich in Spalte J. Die für diese Berechnungen verwendete Formel wird im Textfeld oben auf dem Bildschirm angezeigt.

Beachten Sie, dass der Fleiss-Kappa in diesem Beispiel 0,2099 beträgt. Die tatsächliche Formel zur Berechnung dieses Werts in Zelle C18 lautet:

Fleiss‘ Kappa = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Obwohl es keine formale Möglichkeit gibt, den Kappa von Fleiss zu interpretieren, zeigen die folgenden Werte, wie Cohens Kappa zu interpretieren ist, der zur Beurteilung des Grads der Übereinstimmung zwischen den Bewertern zwischen nur zwei Bewertern verwendet wird:

• <0,20 | Arm
• .21 – .40 | Gerecht
• .41 – .60 | Mäßig
• 0,61 – 0,80 | GUT
• .81 – 1 | In Ordnung

Basierend auf diesen Werten würde der Fleiss-Kappa von 0,2099 in unserem Beispiel als „fairer“ Grad der Übereinstimmung zwischen den Bewertern interpretiert werden.