วิธีการคำนวณสัมประสิทธิ์สหสัมพันธ์ภายในคลาสใน r

ค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส (ICC) ใช้เพื่อพิจารณาว่ารายการหรือหัวข้อสามารถจัดอันดับได้อย่างน่าเชื่อถือโดยผู้ประเมินที่แตกต่างกันหรือไม่

ค่าของ ICC สามารถอยู่ในช่วงตั้งแต่ 0 ถึง 1 โดย 0 หมายถึงไม่มี ความน่าเชื่อถือ ในหมู่ผู้ประเมิน และ 1 หมายถึงความน่าเชื่อถือที่สมบูรณ์แบบ

วิธีที่ง่ายที่สุดในการคำนวณ ICC ใน R คือการใช้ฟังก์ชัน icc() จากแพ็คเกจ IRR ซึ่งใช้ไวยากรณ์ต่อไปนี้:

icc (การจำแนกประเภท รุ่น ประเภท หน่วย)

ทอง:

• หมายเหตุ: ฐานข้อมูลหรือเมทริกซ์ของบันทึกย่อ
• model: ประเภทของโมเดลที่จะใช้ ตัวเลือก ได้แก่ “ทางเดียว” หรือ “สองทาง”
• ประเภท: ประเภทของความสัมพันธ์ที่จะคำนวณระหว่างผู้ประเมิน ตัวเลือกได้แก่ “ความสอดคล้อง” หรือ “ข้อตกลง”
• หน่วย: หน่วยของการวิเคราะห์ ตัวเลือกได้แก่ “เรียบง่าย” หรือ “ปานกลาง”

บทช่วยสอนนี้ให้ตัวอย่างเชิงปฏิบัติของการใช้ฟีเจอร์นี้

ขั้นตอนที่ 1: สร้างข้อมูล

สมมติว่าผู้พิพากษาสี่คนถูกขอให้ประเมินคุณภาพของการสอบเข้าวิทยาลัยที่แตกต่างกัน 10 รายการ เราสามารถสร้าง dataframe ต่อไปนี้เพื่อเก็บคะแนนของกรรมการ:

 #create data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

ขั้นตอนที่ 2: คำนวณค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส

สมมติว่ากรรมการทั้งสี่คนได้รับการสุ่มเลือกจากกลุ่มกรรมการที่มีคุณสมบัติเหมาะสมสำหรับการสอบเข้า และเราต้องการวัดข้อตกลงสัมบูรณ์ระหว่างกรรมการ และเราต้องการใช้คะแนนจากมุมมองของผู้ประเมินเพียงคนเดียวเป็นพื้นฐานของการวัดของเรา

เราสามารถใช้โค้ดต่อไปนี้ใน R เพื่อให้พอดีกับ โมเดลแบบสองทาง โดยใช้ ข้อตกลงสัมบูรณ์เป็น ความสัมพันธ์ระหว่างผู้ประเมิน และใช้หน่วย เดียว เป็นหน่วยที่สนใจ:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

พบว่ามีค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส (ICC) เท่ากับ 0.782

ต่อไปนี้เป็นวิธีการตีความค่าของสัมประสิทธิ์สหสัมพันธ์ภายในคลาสตาม Koo & Li :

• น้อยกว่า 0.50: ความน่าเชื่อถือต่ำ
• ระหว่าง 0.5 ถึง 0.75: ความน่าเชื่อถือปานกลาง
• ระหว่าง 0.75 ถึง 0.9: ความน่าเชื่อถือที่ดี
• มากกว่า 0.9: ความน่าเชื่อถือที่ดีเยี่ยม

ดังนั้น เราจะสรุปได้ว่า ICC ที่ 0.782 บ่งชี้ว่าผู้ประเมินต่างๆ สามารถทำคะแนนการสอบได้ด้วยความน่าเชื่อถือ “ดี”

หมายเหตุเกี่ยวกับการคำนวณ ICC

ICC มีหลายเวอร์ชันที่สามารถคำนวณได้ ขึ้นอยู่กับปัจจัยสามประการต่อไปนี้:

• รุ่น: เอฟเฟกต์สุ่มทางเดียว เอฟเฟกต์สุ่มสองทาง หรือเอฟเฟกต์ผสมสองทาง
• ประเภทของความสัมพันธ์: ความสม่ำเสมอหรือข้อตกลงสัมบูรณ์
• หน่วย: ผู้ประเมินรายเดียวหรือค่าเฉลี่ยของผู้ประเมิน

ในตัวอย่างก่อนหน้านี้ ICC ที่เราคำนวณใช้สมมติฐานต่อไปนี้:

• รุ่น: เอฟเฟกต์สุ่มสองทาง
• ประเภทของความสัมพันธ์: ข้อตกลงสัมบูรณ์
• หน่วย: ผู้ประเมินรายเดียว

สำหรับคำอธิบายโดยละเอียดเกี่ยวกับสมมติฐานเหล่านี้ โปรดดูที่ บทความนี้