Estatística kappa de cohen: definição e exemplo

A estatística Kappa de Cohen é usada para medir o nível de concordância entre dois avaliadores ou juízes, cada um classificando os itens em categorias mutuamente exclusivas.

A fórmula kappa de Cohen é calculada da seguinte forma:

k = (p _o – p _e ) / (1 – p _e )

Ouro:

• p _o : Concordância relativa observada entre os avaliadores
• p _e : Probabilidade hipotética de concordância casual

Em vez de simplesmente calcular a percentagem de itens com os quais os avaliadores concordam, o Kappa de Cohen tenta explicar o facto de os avaliadores poderem concordar com alguns itens por mero acaso.

Como interpretar o Kappa de Cohen

O Kappa de Cohen está sempre entre 0 e 1, sendo 0 indicando nenhuma concordância entre os dois avaliadores e 1 indicando concordância perfeita entre os dois avaliadores.

A tabela a seguir resume como interpretar os diferentes valores do Kappa de Cohen:

O exemplo passo a passo a seguir mostra como calcular manualmente o Kappa de Cohen.

Calcule o Kappa de Cohen: exemplo passo a passo

Suponha que dois curadores de museu sejam solicitados a avaliar 70 pinturas para ver se são boas o suficiente para serem exibidas em uma nova exposição.

A tabela 2×2 a seguir mostra os resultados das avaliações:

Passo 1: Calcule a concordância relativa (p _o ) entre os avaliadores.

Primeiro, calcularemos a concordância relativa entre os avaliadores. Esta é simplesmente a proporção das pontuações totais para as quais ambos os avaliadores responderam “Sim” ou “Não”.

Podemos calcular isso da seguinte forma:

• p _o = (Ambos disseram sim + Ambos disseram não) / (Pontuação total)
• p _o = (25 + 20) / (70) = 0,6429

Etapa 2: Calcule a probabilidade hipotética de concordância casual (p _e ) entre os avaliadores.

A seguir, calcularemos a probabilidade de os avaliadores concordarem por pura sorte.

Isso é calculado como o número total de vezes que o revisor 1 disse “Sim”, dividido pelo número total de respostas, multiplicado pelo número total de vezes que o revisor 2 disse “Sim”, dividido pelo número total de respostas, somado ao total. número de vezes que o avaliador 1 disse “Não”, multiplicado pelo número total de vezes que o avaliador 2 disse “Não”.

Para nosso exemplo, isso é calculado da seguinte forma:

• P(“Sim”) = ((25+10)/70) * ((25+15)/70) = 0,285714
• P (“Não”) = ((15+20)/70) * ((10+20)/70) = 0,214285
• _pe = 0,285714 + 0,214285 = 0,5

Etapa 3: calcular o Kappa de Cohen

Finalmente, usaremos p _o e p _e para calcular o Kappa de Cohen:

• k = (p _o – p _e ) / (1 – p _e )
• k = (0,6429 – 0,5) / (1 – 0,5)
• k = 0,2857

O Kappa de Cohen é 0,2857 . Com base na tabela anterior, diríamos que os dois avaliadores tiveram apenas um nível de concordância “razoável”.

Recursos adicionais

Você pode usar esta calculadora Kappa de Cohen para calcular automaticamente o Kappa de Cohen para dois avaliadores.