Hoe de kappa van fleiss in excel te berekenen

Fleiss‘ Kappa is een manier om de mate van overeenstemming tussen drie of meer beoordelaars te meten wanneer beoordelaars categorische beoordelingen aan een reeks items toekennen.

Fleiss‘ Kappa gaat van 0 naar 1 waarbij:

• 0 geeft aan dat er geen overeenstemming is tussen de reviewers.
• 1 geeft perfecte overeenstemming tussen beoordelaars aan.

Deze tutorial geeft een voorbeeld van hoe je Fleiss‘ Kappa in Excel kunt berekenen.

Voorbeeld: Fleiss Kappa in Excel

Laten we zeggen dat 14 mensen 10 verschillende producten beoordelen op een schaal van slecht tot uitstekend.

De volgende schermafbeelding toont de totale beoordelingen die elk product heeft ontvangen:

De volgende schermafbeelding laat zien hoe u Fleiss‘ Kappa voor deze gegevens in Excel kunt berekenen:

De lastigste berekeningen in deze schermafbeelding staan in kolom J. De formule die voor deze berekeningen wordt gebruikt, wordt weergegeven in het tekstvak bovenaan het scherm.

Merk op dat de Fleiss Kappa in dit voorbeeld 0,2099 blijkt te zijn. De feitelijke formule die wordt gebruikt om deze waarde in cel C18 te berekenen is:

De kappa van Fleiss = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Hoewel er geen formele manier is om de Kappa van Fleiss te interpreteren, laten de volgende waarden zien hoe de Kappa van Cohen moet worden geïnterpreteerd, die wordt gebruikt om het niveau van interbeoordelaarsovereenstemming tussen slechts twee beoordelaars te beoordelen:

• <0,20 | Arm
• .21 – .40 | Eerlijk
• .41 – .60 | Gematigd
• 0,61 – 0,80 | GOED
• .81 – 1 | Akkoord

Op basis van deze waarden zou de Fleiss Kappa van 0,2099 in ons voorbeeld worden geïnterpreteerd als een ‘redelijk’ niveau van overeenstemming tussen de beoordelaars.