Comment calculer Fleiss’ Kappa dans Excel

Le Kappa de Fleiss est un moyen de mesurer le degré d’accord entre trois évaluateurs ou plus lorsque les évaluateurs attribuent des notes catégorielles à un ensemble d’éléments.

Le Kappa de Fleiss va de 0 à 1 où :

• 0 indique qu’il n’y a aucun accord entre les évaluateurs.
• 1 indique un accord parfait entre les évaluateurs.

Ce didacticiel fournit un exemple de la façon de calculer le Kappa de Fleiss dans Excel.

Exemple : Kappa de Fleiss dans Excel

Supposons que 14 personnes évaluent 10 produits différents sur une échelle allant de médiocre à excellent.

La capture d’écran suivante affiche le total des notes reçues par chaque produit :

La capture d’écran suivante montre comment calculer le Kappa de Fleiss pour ces données dans Excel :

Les calculs les plus délicats de cette capture d’écran se trouvent dans la colonne J. La formule utilisée pour ces calculs est affichée dans la zone de texte en haut de l’écran.

Notez que le Kappa de Fleiss dans cet exemple s’avère être 0,2099 . La formule réelle utilisée pour calculer cette valeur dans la cellule C18 est :

Kappa de Fleiss = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Bien qu’il n’existe aucune manière formelle d’interpréter le Kappa de Fleiss, les valeurs suivantes montrent comment interpréter le Kappa de Cohen, qui est utilisé pour évaluer le niveau d’accord inter-évaluateurs entre seulement deux évaluateurs :

• < 0,20 | Pauvre
• .21 – .40 | Équitable
• .41 – .60 | Modéré
• 0,61 – 0,80 | Bien
• .81 – 1 | Très bien

Sur la base de ces valeurs, le Kappa de Fleiss de 0,2099 dans notre exemple serait interprété comme un niveau « juste » d’accord entre évaluateurs.