Hoe cohen's kappa in excel te berekenen

Cohen’s Kappa wordt gebruikt om de mate van overeenstemming te meten tussen twee beoordelaars of juryleden die elk item in elkaar uitsluitende categorieën indelen.

De Cohen’s Kappa-formule wordt als volgt berekend:

k = (p _o – p _e ) / (1 – p _e )

Goud:

• p _o : Relatieve overeenstemming waargenomen tussen de beoordelaars
• p _e : Hypothetische waarschijnlijkheid van toevalsovereenkomst

In plaats van eenvoudigweg het percentage items te berekenen waarover beoordelaars het eens zijn, probeert Cohen’s Kappa rekening te houden met het feit dat beoordelaars het louter bij toeval over sommige items eens kunnen zijn.

De waarde van Cohen’s Kappa ligt altijd tussen 0 en 1, waarbij 0 aangeeft dat er geen overeenstemming is tussen de twee beoordelaars en 1 een perfecte overeenstemming tussen de twee beoordelaars aangeeft.

De volgende tabel vat samen hoe de verschillende waarden van Cohen’s Kappa moeten worden geïnterpreteerd:

Het volgende voorbeeld laat zien hoe u Cohen’s Kappa in Excel kunt berekenen.

Voorbeeld: Bereken Cohen’s Kappa in Excel

Stel dat twee conservatoren van een kunstmuseum worden gevraagd zeventig schilderijen te beoordelen om te zien of ze goed genoeg zijn voor een nieuwe tentoonstelling.

De volgende 2×2 tabel toont de resultaten van de evaluaties:

De volgende schermafbeelding laat zien hoe u de Cohen’s Kappa voor beoordelaars kunt berekenen, inclusief de gebruikte formules:

De p-waarde ₀ vertegenwoordigt de relatieve overeenstemming tussen beoordelaars. Dit is het deel van de totaalscores waarop beide beoordelaars “Ja” of “Nee” hebben geantwoord.

Dit blijkt 0,6429 te zijn.

De waarde p _e vertegenwoordigt de waarschijnlijkheid dat de beoordelaars door puur toeval tot overeenstemming konden komen.

Dit blijkt 0,5 te zijn.

De k- waarde vertegenwoordigt Cohen’s Kappa, die als volgt wordt berekend:

• k = (p _o – p _e ) / (1 – p _e )
• k = (0,6429 – 0,5) / (1 – 0,5)
• k = 0,2857

Cohen’s Kappa blijkt 0,2857 te zijn.

Op basis van de vorige tabel zouden we zeggen dat de twee beoordelaars slechts een “redelijk” niveau van overeenstemming hadden.

Aanvullende bronnen

De volgende tutorials bieden aanvullende informatie over Cohen’s Kappa:

Inleiding tot Cohen’s Kappa
Cohen’s Kappa-calculator