Statistica kappa di cohen: definizione ed esempio

La statistica Kappa di Cohen viene utilizzata per misurare il livello di accordo tra due valutatori o giudici che classificano ciascuno gli elementi in categorie mutuamente esclusive.

La formula kappa di Cohen si calcola come segue:

k = (p _o – p _e ) / (1 – p _e )

Oro:

• p _o : Accordo relativo osservato tra i valutatori
• p _e : Probabilità ipotetica di accordo casuale

Invece di calcolare semplicemente la percentuale di elementi su cui i valutatori sono d’accordo, il Kappa di Cohen tenta di tenere conto del fatto che i valutatori possono essere d’accordo su alcuni elementi per mero caso.

Come interpretare il Kappa di Cohen

Il Kappa di Cohen è sempre compreso tra 0 e 1, dove 0 indica assenza di accordo tra i due valutatori e 1 indica perfetto accordo tra i due valutatori.

La tabella seguente riassume come interpretare i diversi valori della Kappa di Cohen:

Il seguente esempio passo passo mostra come calcolare manualmente la Kappa di Cohen.

Calcolare la Kappa di Cohen: esempio passo passo

Supponiamo che a due curatori di museo venga chiesto di valutare 70 dipinti per vedere se sono abbastanza buoni da essere esposti in una nuova mostra.

La seguente tabella 2×2 mostra i risultati delle valutazioni:

Passaggio 1: calcolare l’accordo relativo (p _o ) tra i valutatori.

Innanzitutto, calcoleremo l’accordo relativo tra i valutatori. Questa è semplicemente la proporzione dei punteggi totali per i quali entrambi i valutatori hanno risposto “Sì” o “No”.

Possiamo calcolarlo come segue:

• p _o = (Entrambi hanno detto sì + Entrambi hanno detto no) / (Punteggi totali)
• p _o = (25 + 20) / (70) = 0,6429

Passaggio 2: calcolare l’ipotetica probabilità di accordo casuale (p _e ) tra i valutatori.

Successivamente, calcoleremo la probabilità che i valutatori siano riusciti a concordare per puro caso.

Questo viene calcolato come il numero totale di volte in cui il revisore 1 ha detto “Sì”, diviso per il numero totale di risposte, moltiplicato per il numero totale di volte in cui il revisore 2 ha detto “Sì”, diviso per il numero totale di risposte, sommato al totale. numero di volte che il valutatore 1 ha detto “No”, moltiplicato per il numero totale di volte che il valutatore 2 ha detto “No”.

Nel nostro esempio, questo viene calcolato come segue:

• P(“Sì”) = ((25+10)/70) * ((25+15)/70) = 0,285714
• P(“No”) = ((15+20)/70) * ((10+20)/70) = 0,214285
• p _e = 0,285714 + 0,214285 = 0,5

Passaggio 3: calcolare la Kappa di Cohen

Infine, useremo p _o e p _e per calcolare la Kappa di Cohen:

• k = (p _o – p _e ) / (1 – p _e )
• k = (0,6429 – 0,5) / (1 – 0,5)
• k = 0,2857

Il Kappa di Cohen risulta essere 0,2857 . Sulla base della tabella precedente, diremmo che i due valutatori avevano solo un livello di accordo “abbastanza”.

Risorse addizionali

È possibile utilizzare questo calcolatore Kappa di Cohen per calcolare automaticamente il Kappa di Cohen per due valutatori.