Cohens kappa-statistik: definition und beispiel

Die Kappa-Statistik von Cohen wird verwendet, um den Grad der Übereinstimmung zwischen zwei Bewertern oder Juroren zu messen, die jeweils Elemente in sich gegenseitig ausschließende Kategorien einteilen.

Die Kappa-Formel von Cohen wird wie folgt berechnet:

k = (p _o – p _e ) / (1 – p _e )

Gold:

• p _o : Relative Übereinstimmung zwischen den Bewertern beobachtet
• p _e : Hypothetische Wahrscheinlichkeit einer zufälligen Übereinstimmung

Anstatt einfach den Prozentsatz der Punkte zu berechnen, bei denen sich die Bewerter einig sind, versucht Cohens Kappa die Tatsache zu berücksichtigen, dass sich die Bewerter bei einigen Punkten zufällig einig sein können.

Wie ist Cohens Kappa zu interpretieren?

Cohens Kappa liegt immer zwischen 0 und 1, wobei 0 keine Übereinstimmung zwischen den beiden Bewertern und 1 eine vollständige Übereinstimmung zwischen den beiden Bewertern anzeigt.

Die folgende Tabelle fasst zusammen, wie die verschiedenen Werte von Cohens Kappa zu interpretieren sind:

Das folgende Schritt-für-Schritt-Beispiel zeigt, wie Cohens Kappa manuell berechnet wird.

Berechnen Sie Cohens Kappa: Schritt-für-Schritt-Beispiel

Angenommen, zwei Museumskuratoren werden gebeten, 70 Gemälde zu bewerten, um festzustellen, ob sie gut genug sind, um in einer neuen Ausstellung gezeigt zu werden.

Die folgende 2×2-Tabelle zeigt die Ergebnisse der Auswertungen:

Schritt 1: Berechnen Sie die relative Übereinstimmung (p _o ) zwischen den Bewertern.

Zunächst berechnen wir die relative Übereinstimmung zwischen den Bewertern. Dies ist einfach der Anteil der Gesamtpunktzahl, für den beide Bewerter mit „Ja“ oder „Nein“ geantwortet haben.

Wir können dies wie folgt berechnen:

• p _o = (Beide sagten Ja + Beide sagten Nein) / (Gesamtpunktzahl)
• p _o = (25 + 20) / (70) = 0,6429

Schritt 2: Berechnen Sie die hypothetische Wahrscheinlichkeit einer zufälligen Übereinstimmung (p _e ) zwischen den Bewertern.

Als nächstes berechnen wir die Wahrscheinlichkeit, dass sich die Bewerter rein zufällig einigen konnten.

Dies wird berechnet als die Gesamtzahl der „Ja“-Antworten von Prüfer 1, geteilt durch die Gesamtzahl der Antworten, multipliziert mit der Gesamtzahl der „Ja“-Antworten von Prüfer 2, dividiert durch die Gesamtzahl der Antworten, addiert zur Gesamtzahl. Anzahl der Male, mit denen Bewerter 1 „Nein“ gesagt hat, multipliziert mit der Gesamtzahl der Male, mit denen Bewerter 2 „Nein“ gesagt hat.

Für unser Beispiel errechnet sich dieser wie folgt:

• P(„Ja“) = ((25+10)/70) * ((25+15)/70) = 0,285714
• P(„Nein“) = ((15+20)/70) * ((10+20)/70) = 0,214285
• p _e = 0,285714 + 0,214285 = 0,5

Schritt 3: Berechnen Sie Cohens Kappa

Schließlich werden wir p _o und p _e verwenden, um Cohens Kappa zu berechnen:

• k = (p _o – p _e ) / (1 – p _e )
• k = (0,6429 – 0,5) / (1 – 0,5)
• k = 0,2857

Es stellt sich heraus, dass Cohens Kappa 0,2857 beträgt. Basierend auf der vorherigen Tabelle würden wir sagen, dass die beiden Bewerter nur eine „ziemlich“ große Übereinstimmung hatten.

Zusätzliche Ressourcen

Mit diesem Cohen-Kappa-Rechner können Sie Cohen-Kappa für zwei Bewerter automatisch berechnen.