Como calcular o kappa de fleiss no excel

O Kappa de Fleiss é uma forma de medir o grau de concordância entre três ou mais avaliadores quando os avaliadores atribuem classificações categóricas a um conjunto de itens.

O Kappa de Fleiss vai de 0 a 1 onde:

• 0 indica que não há acordo entre os revisores.
• 1 indica concordância perfeita entre os avaliadores.

Este tutorial fornece um exemplo de como calcular o Kappa de Fleiss no Excel.

Exemplo: Fleiss Kappa no Excel

Digamos que 14 pessoas avaliem 10 produtos diferentes numa escala de ruim a excelente.

A captura de tela a seguir mostra o total de avaliações recebidas por cada produto:

A captura de tela a seguir mostra como calcular o Kappa de Fleiss para esses dados no Excel:

Os cálculos mais complicados nesta captura de tela estão na coluna J. A fórmula usada para esses cálculos é exibida na caixa de texto na parte superior da tela.

Observe que o Fleiss Kappa neste exemplo é 0,2099 . A fórmula real usada para calcular este valor na célula C18 é:

Kappa de Fleiss = (0,37802 – 0,2128) / (1 – 0,2128) = 0,2099.

Embora não haja uma maneira formal de interpretar o Kappa de Fleiss, os valores a seguir mostram como interpretar o Kappa de Cohen, que é usado para avaliar o nível de concordância entre avaliadores entre apenas dois avaliadores:

• <0,20 | Pobre
• 0,21 – 0,40 | Justo
• 0,41 – 0,60 | Moderado
• 0,61 – 0,80 | BOM
• .81 – 1 | Tudo bem

Com base nestes valores, o Fleiss Kappa de 0,2099 no nosso exemplo seria interpretado como um nível “justo” de concordância entre avaliadores.