R에서 클래스 내 상관 계수를 계산하는 방법

클래스 내 상관 계수 (ICC)는 다양한 평가자가 항목이나 주제를 안정적으로 평가할 수 있는지 여부를 결정하는 데 사용됩니다.

ICC 값의 범위는 0에서 1까지이며, 0은 평가자 간의 신뢰도가 없음을 나타내고 1은 완벽한 신뢰도를 나타냅니다.

R에서 ICC를 계산하는 가장 쉬운 방법은 다음 구문을 사용하는 irr 패키지의 icc() 함수를 사용하는 것입니다.

ICC(분류, 모델, 유형, 단위)

금:

• 메모: 데이터베이스 또는 메모 매트릭스
• 모델: 사용할 모델 유형입니다. 옵션에는 “단방향” 또는 “양방향”이 포함됩니다.
• 유형: 평가자 간에 계산할 관계 유형입니다. 옵션에는 “일관성” 또는 “합의”가 포함됩니다.
• 단위: 분석 단위입니다. 옵션에는 “단순” 또는 “중간”이 포함됩니다.

이 튜토리얼에서는 이 기능을 사용하는 실제 예를 제공합니다.

1단계: 데이터 생성

4명의 심사위원에게 10가지 대학 입시 시험의 질을 평가하도록 요청했다고 가정해 보겠습니다. 심사위원의 점수를 저장하기 위해 다음 데이터프레임을 만들 수 있습니다.

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

2단계: 클래스 내 상관 계수 계산

4명의 심사위원이 입학시험 자격을 갖춘 심사위원 집단 중에서 무작위로 선택되었고 심사위원 간의 절대적인 동의 여부를 측정하고 단 한 명의 평가자의 관점에서 얻은 점수를 측정의 기초로 사용하기를 원한다고 가정합니다.

R에서 다음 코드를 사용하여 양방향 모델을 맞출 수 있습니다. 절대 합의를 평가자 간의 관계로 사용하고 단일 단위를 관심 단위로 사용합니다.

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

클래스 내 상관계수(ICC)는 0.782 로 나타났습니다.

Koo & Li 에 따르면 클래스 내 상관 계수 값을 해석하는 방법은 다음과 같습니다.

• 0.50 미만: 신뢰성이 낮음
• 0.5~0.75: 중간 정도의 신뢰도
• 0.75~0.9 사이: 우수한 신뢰도
• 0.9 이상 : 신뢰성이 우수함

따라서 우리는 0.782 의 ICC가 다양한 평가자에 의해 시험이 “좋은” 신뢰성으로 채점될 수 있다는 것을 의미한다고 결론을 내릴 수 있습니다.

ICC 계산에 대한 참고 사항

다음 세 가지 요소에 따라 계산할 수 있는 ICC의 여러 가지 버전이 있습니다.

• 모델: 단방향 무작위 효과, 양방향 무작위 효과 또는 양방향 혼합 효과
• 관계 유형: 일관성 또는 절대적인 동의
• 단위: 단일 평가자 또는 평가자의 평균

이전 예에서 우리가 계산한 ICC는 다음 가정을 사용했습니다.

• 모델: 양방향 무작위 효과
• 관계 유형: 절대 동의
• 단위: 단일 평가자

이러한 가정에 대한 자세한 설명은 이 문서를 참조하세요.