วิธีการคำนวณคัปปาของโคเฮนในอาร์

ในทางสถิติ Cohen’s Kappa ใช้เพื่อวัดระดับข้อตกลงระหว่างผู้ประเมินหรือผู้พิพากษาสองคน ซึ่งแบ่งประเภทแต่ละรายการออกเป็นหมวดหมู่ที่ไม่เกิดร่วมกัน

สูตรคัปปาของโคเฮนคำนวณได้ดังนี้:

k = (พี _โอ – พี _อี ) / (1 – พี _อี )

ทอง:

• p _o : ข้อตกลงสัมพัทธ์ที่สังเกตได้ระหว่างผู้ประเมิน
• p _e : ความน่าจะเป็นสมมุติฐานของข้อตกลงโอกาส

แทนที่จะคำนวณเปอร์เซ็นต์ของรายการที่ผู้ประเมินเห็นด้วยเพียงอย่างเดียว คัปปาของโคเฮนพยายามคำนึงถึงข้อเท็จจริงที่ว่าผู้ประเมินอาจเห็นด้วยกับบางรายการโดยบังเอิญ

ค่าของคัปปาของโคเฮนจะอยู่ระหว่าง 0 ถึง 1 เสมอ โดยที่:

• 0 หมายถึงไม่มีข้อตกลงระหว่างผู้ตรวจสอบสองคน
• 1 หมายถึงข้อตกลงที่สมบูรณ์แบบระหว่างผู้ประเมินทั้งสองคน

ตารางต่อไปนี้สรุปวิธีการตีความค่าต่าง ๆ ของ Kappa ของ Cohen:

วิธีที่ง่ายที่สุดในการคำนวณคัปปาของโคเฮนใน R คือการใช้ฟังก์ชัน cohen.kappa() จากแพ็คเกจ Psych

ตัวอย่างต่อไปนี้แสดงวิธีใช้ฟังก์ชันนี้ในทางปฏิบัติ

ตัวอย่าง: คำนวณคัปปาของโคเฮนในอาร์

สมมติว่าภัณฑารักษ์สองคนในพิพิธภัณฑ์ศิลปะแห่งหนึ่งถูกขอให้ประเมินภาพวาด 15 ชิ้นเพื่อดูว่าดีพอที่จะแสดงในนิทรรศการใหม่หรือไม่

รหัสต่อไปนี้แสดงวิธีใช้ฟังก์ชัน cohen.kappa() ของแพ็คเกจ Psych เพื่อคำนวณ Kappa ของ Cohen สำหรับผู้ประเมินทั้งสอง:

 library (psych)

#define vector of ratings for both raters
miss1 = [0, 1, 1, 1, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 0]
miss2 = [0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0]

#calculate Cohen's Kappa
Cohen. kappa (x=cbind(miss1,miss2))

Cohen Kappa and Weighted Kappa correlation coefficients and confidence boundaries 
                 lower estimate upper
unweighted kappa -0.14 0.34 0.81
weighted kappa -0.14 0.34 0.81

 Number of subjects = 15 

คอลัมน์ การประมาณ จะแสดงค่าคัปปาของโคเฮน

จากผลลัพธ์เราจะเห็นว่าคัปปาของโคเฮนกลายเป็น 0.34 .

จากตารางก่อนหน้านี้ เราจะบอกว่าผู้ประเมินทั้งสองคนมีข้อตกลงในระดับที่ “ค่อนข้างยุติธรรม” เท่านั้น

หากคุณต้องการคำนวณระดับข้อตกลงระหว่างผู้ประเมินตั้งแต่สามคนขึ้นไป ขอแนะนำให้ใช้ Fleiss’ Kappa แทน

แหล่งข้อมูลเพิ่มเติม

บทช่วยสอนต่อไปนี้ให้แหล่งข้อมูลเพิ่มเติมเกี่ยวกับ Kappa ของ Cohen:

รู้เบื้องต้นเกี่ยวกับคัปปาของโคเฮน
เครื่องคิดเลข Kappa ของ Cohen ออนไลน์
วิธีการคำนวณคัปปาของโคเฮนใน Excel
วิธีการคำนวณคัปปาของโคเฮนใน Python