Come calcolare la kappa di fleiss in excel

Il Kappa di Fleiss è un modo per misurare il grado di accordo tra tre o più valutatori quando i valutatori assegnano valutazioni categoriche a un insieme di elementi.

La Kappa di Fleiss va da 0 a 1 dove:

• 0 indica che non c’è accordo tra i revisori.
• 1 indica un perfetto accordo tra i valutatori.

Questo tutorial fornisce un esempio di come calcolare la Kappa di Fleiss in Excel.

Esempio: Fleiss Kappa in Excel

Diciamo che 14 persone valutano 10 prodotti diversi su una scala da scadente a eccellente.

La schermata seguente mostra le valutazioni totali ricevute da ciascun prodotto:

La schermata seguente mostra come calcolare la Kappa di Fleiss per questi dati in Excel:

I calcoli più complicati in questa schermata sono nella colonna J. La formula utilizzata per questi calcoli viene visualizzata nella casella di testo nella parte superiore dello schermo.

Nota che il Fleiss Kappa in questo esempio risulta essere 0.2099 . La formula effettiva utilizzata per calcolare questo valore nella cella C18 è:

Kappa di Fleiss = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Sebbene non esista un modo formale per interpretare il Kappa di Fleiss, i seguenti valori mostrano come interpretare il Kappa di Cohen, che viene utilizzato per valutare il livello di accordo tra valutatori solo tra due valutatori:

• <0,20 | Povero
• .21 – .40 | Giusto
• .41 – .60 | Moderare
• 0,61 – 0,80| BENE
• .81 – 1 | Bene

Sulla base di questi valori, il Fleiss Kappa di 0,2099 nel nostro esempio verrebbe interpretato come un livello “giusto” di accordo tra valutatori.