Excel에서 fleiss의 카파를 계산하는 방법

Fleiss’ Kappa는 평가자가 일련의 항목에 범주형 평가를 할당할 때 3명 이상의 평가자 간의 동의 정도를 측정하는 방법입니다.

Fleiss의 Kappa는 0에서 1로 이동합니다. 여기서:

• 0은 검토자 간에 합의가 없음을 나타냅니다.
• 1은 평가자 간의 완벽한 일치를 나타냅니다.

이 튜토리얼에서는 Excel에서 Fleiss’ Kappa를 계산하는 방법에 대한 예를 제공합니다.

예: Excel의 Fleiss Kappa

14명의 사람이 10개의 서로 다른 제품을 불량부터 우수까지의 등급으로 평가한다고 가정해 보겠습니다.

다음 스크린샷은 각 제품이 받은 총 평점을 표시합니다.

다음 스크린샷은 Excel에서 이 데이터에 대한 Fleiss’ Kappa를 계산하는 방법을 보여줍니다.

이 스크린샷에서 가장 까다로운 계산은 J열에 있습니다. 이러한 계산에 사용된 수식은 화면 상단의 텍스트 상자에 표시됩니다.

이 예에서 Fleiss Kappa는 0.2099 로 나타납니다. C18 셀에서 이 값을 계산하는 데 사용되는 실제 수식은 다음과 같습니다.

플레이스의 카파 = (0.37802 – 0.2128) / (1 – 0.2128) = 0.2099.

Fleiss의 Kappa를 해석하는 공식적인 방법은 없지만 다음 값은 두 평가자 간의 평가자 간 일치 수준을 평가하는 데 사용되는 Cohen의 Kappa를 해석하는 방법을 보여줍니다.

• <0.20 | 가난한
• .21 – .40 | 공정한
• .41 – .60 | 보통의
• 0.61 – 0.80 | 좋은
• .81 – 1 | 괜찮은

이러한 값을 기반으로, 이 예에서 0.2099 의 Fleiss Kappa는 평가자 간 합의의 “공정한” 수준으로 해석됩니다.