ค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส: คำจำกัดความ + ตัวอย่าง

ค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส (ICC) ใช้เพื่อวัด ความน่าเชื่อถือ ของคะแนนในการศึกษาที่มีผู้ประเมินตั้งแต่สองคนขึ้นไป

ค่าของ ICC สามารถอยู่ในช่วงตั้งแต่ 0 ถึง 1 โดย 0 หมายถึงไม่มีความน่าเชื่อถือในหมู่ผู้ประเมิน และ 1 หมายถึงความน่าเชื่อถือที่สมบูรณ์แบบในหมู่ผู้ประเมิน

พูดง่ายๆ ก็คือ ICC ใช้เพื่อพิจารณาว่ารายการ (หรือหัวข้อ) สามารถจัดอันดับได้อย่างน่าเชื่อถือโดยผู้ประเมินที่แตกต่างกันหรือไม่

ICC มีหลายเวอร์ชันที่สามารถคำนวณได้ ขึ้นอยู่กับปัจจัยสามประการต่อไปนี้:

• รุ่น: เอฟเฟกต์สุ่มทางเดียว เอฟเฟกต์สุ่มสองทาง หรือเอฟเฟกต์ผสมสองทาง
• ประเภทของความสัมพันธ์: ความสม่ำเสมอหรือข้อตกลงสัมบูรณ์
• หน่วย: ผู้ประเมินรายเดียวหรือค่าเฉลี่ยของผู้ประเมิน

นี่คือคำอธิบายโดยย่อของสาม รุ่น ที่แตกต่างกัน:

1. โมเดลเอฟเฟกต์สุ่มทางเดียว: โมเดลนี้จะถือว่าแต่ละวิชาได้รับการประเมินโดยกลุ่มผู้ประเมินที่เลือกแบบสุ่มที่แตกต่างกัน ด้วยโมเดลนี้ ผู้ประเมินถือเป็นแหล่งที่มาของเอฟเฟกต์แบบสุ่ม แบบจำลองนี้ไม่ค่อยได้ใช้ในทางปฏิบัติเนื่องจากโดยทั่วไปจะใช้ผู้ประเมินกลุ่มเดียวกันในการประเมินแต่ละวิชา

2. แบบจำลองเอฟเฟกต์สุ่มแบบสองทาง: แบบจำลองนี้ถือว่ากลุ่มของผู้ประเมิน k ได้รับการสุ่มเลือกจากประชากร จากนั้นจึงใช้ในการให้คะแนนอาสาสมัคร การใช้แบบจำลองนี้ ผู้ประเมินและอาสาสมัครถือเป็นแหล่งที่มาของเอฟเฟกต์แบบสุ่ม แบบจำลองนี้มักใช้เมื่อเราต้องการสรุปผลลัพธ์ของเรากับผู้ประเมินที่คล้ายคลึงกับที่ใช้ในการศึกษา

3. แบบจำลองเอฟเฟกต์ผสมสองทาง: โมเดลนี้ยังถือว่ากลุ่มผู้ประเมิน k ได้รับการสุ่มเลือกจากประชากร จากนั้นจึงใช้เพื่อให้คะแนนอาสาสมัคร อย่างไรก็ตาม แบบจำลองนี้สันนิษฐานว่ากลุ่มของผู้ประเมินที่เราเลือกเป็น เพียง ผู้ประเมินที่สนใจ ซึ่งหมายความว่าเราไม่ต้องการสรุปผลลัพธ์ของเรากับผู้ประเมินรายอื่นที่อาจมีลักษณะคล้ายคลึงกับผู้ประเมินที่ใช้ในการศึกษาเช่นกัน

ต่อไปนี้เป็นคำอธิบายโดยย่อเกี่ยวกับ ความสัมพันธ์สองประเภทที่ เราอาจต้องการวัด:

1. ความสม่ำเสมอ: เราสนใจในความแตกต่างอย่างเป็นระบบระหว่างการให้คะแนนของผู้พิพากษา (เช่น ผู้พิพากษาให้คะแนนหัวข้อที่คล้ายกันว่าต่ำและสูงหรือไม่)

2. ข้อตกลงโดยสมบูรณ์: เราสนใจในความแตกต่างสัมบูรณ์ระหว่างคะแนนของกรรมการ (เช่น อะไรคือความแตกต่างสัมบูรณ์ระหว่างคะแนนของผู้ตัดสิน A และกรรมการ B?)

นี่คือคำอธิบายโดยย่อของสอง หน่วย ที่แตกต่างกันที่อาจสนใจ:

1. ผู้วิจารณ์คนเดียว: เราต้องการใช้การให้คะแนนของผู้วิจารณ์เพียงคนเดียวเป็นเกณฑ์ในการวัดผล

2. ผู้ประเมินค่าเฉลี่ย: เราต้องการใช้ค่าเฉลี่ยของคะแนนของกรรมการทั้งหมดเป็นเกณฑ์ในการวัด

หมายเหตุ: หากคุณต้องการวัดระดับข้อตกลงระหว่างผู้ประเมินสองคนที่พลาดแต่ละรายการใน ผลลัพธ์แบบขั้ว คุณควรใช้ Cohen’s Kappa แทน

วิธีการตีความค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส

ต่อไปนี้เป็นวิธีการตีความค่าของสัมประสิทธิ์สหสัมพันธ์ภายในคลาสตาม Koo & Li :

• น้อยกว่า 0.50: ความน่าเชื่อถือต่ำ
• ระหว่าง 0.5 ถึง 0.75: ความน่าเชื่อถือปานกลาง
• ระหว่าง 0.75 ถึง 0.9: ความน่าเชื่อถือที่ดี
• มากกว่า 0.9: ความน่าเชื่อถือที่ดีเยี่ยม

ตัวอย่างต่อไปนี้แสดงวิธีการคำนวณสัมประสิทธิ์สหสัมพันธ์ภายในคลาสในทางปฏิบัติ

ตัวอย่าง: การคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส

สมมติว่าผู้พิพากษาสี่คนถูกขอให้ประเมินคุณภาพของการสอบเข้าวิทยาลัยที่แตกต่างกัน 10 รายการ ผลลัพธ์แสดงไว้ด้านล่าง:

สมมติว่าผู้พิพากษาทั้งสี่คนถูกสุ่มเลือกจากกลุ่มผู้พิพากษาที่มีคุณสมบัติเหมาะสมสำหรับการสอบเข้า และเราต้องการวัดข้อตกลงสัมบูรณ์ระหว่างผู้พิพากษา และเราต้องการใช้คะแนนจากมุมมองของผู้ประเมินเพียงคนเดียวเป็นพื้นฐานของการวัดของเรา

เราสามารถใช้โค้ดต่อไปนี้ใน R เพื่อให้พอดีกับ โมเดลเอฟเฟกต์สุ่มแบบสองทาง โดยใช้ ข้อตกลงสัมบูรณ์ เป็นความสัมพันธ์ระหว่างผู้ประเมิน และใช้หน่วย เดียว เป็นหน่วยที่สนใจ:

 #load the interrater reliability package
library (irr)

#define data
data <- data. frame (A=c(1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
                   B=c(2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
                   C=c(0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
                   D=c(1, 2, 3, 3, 6, 4, 6, 8, 8, 9))

#calculate ICC
icc(data, model = " twoway ", type = " agreement ", unit = " single ")

   Model: twoway 
   Type: agreement 

   Subjects = 10 
     Failures = 4 
   ICC(A,1) = 0.782

 F-Test, H0: r0 = 0; H1: r0 > 0 
    F(9.30) = 15.3, p = 5.93e-09 

 95%-Confidence Interval for ICC Population Values:
  0.554 < ICC < 0.931

พบว่ามีค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาส (ICC) เท่ากับ 0.782

ตามกฎทั่วไปในการตีความ ICC เราจะสรุปได้ว่า ICC ที่ 0.782 บ่งชี้ว่าผู้ประเมินต่างๆ สามารถทำคะแนนการสอบได้ด้วยความน่าเชื่อถือ “ดี”

แหล่งข้อมูลเพิ่มเติม

บทช่วยสอนต่อไปนี้ให้คำอธิบายโดยละเอียดเกี่ยวกับวิธีการคำนวณ ICC ในซอฟต์แวร์ทางสถิติต่างๆ:

วิธีการคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาสใน Excel
วิธีการคำนวณสัมประสิทธิ์สหสัมพันธ์ภายในคลาสใน R
วิธีการคำนวณค่าสัมประสิทธิ์สหสัมพันธ์ภายในคลาสใน Python