คะแนน auc ที่ดีคืออะไร?

การถดถอยแบบลอจิสติก เป็นวิธีการที่เราใช้เพื่อให้พอดีกับแบบจำลองการถดถอยเมื่อตัวแปรตอบสนองเป็นไบนารี

เพื่อประเมินว่าแบบจำลองการถดถอยโลจิสติกเหมาะสมกับชุดข้อมูลได้ดีเพียงใด เราสามารถดูตัวชี้วัดสองตัวต่อไปนี้:

• ความไว: ความน่าจะเป็นที่แบบจำลองคาดการณ์ผลลัพธ์ที่เป็นบวกสำหรับการสังเกต เมื่อผลลัพธ์เป็นบวกจริงๆ สิ่งนี้เรียกอีกอย่างว่า “อัตราบวกที่แท้จริง”
• ความจำเพาะ: ความน่าจะเป็นที่แบบจำลองทำนายผลลัพธ์ที่เป็นลบสำหรับการสังเกต เมื่อผลลัพธ์เป็นลบจริงๆ สิ่งนี้เรียกอีกอย่างว่า “อัตราติดลบที่แท้จริง”

วิธีหนึ่งในการแสดงภาพการวัดทั้งสองนี้คือการสร้าง เส้นโค้ง ROC ซึ่งย่อมาจากเส้นโค้ง “ลักษณะการทำงานของตัวรับ”

นี่คือกราฟที่แสดงความไวตามแกน y และ (1 – ความจำเพาะ) ตามแกน x

วิธีหนึ่งในการหาปริมาณประสิทธิผลของแบบจำลองการถดถอยโลจิสติกในการจำแนกข้อมูลคือการคำนวณ AUC ซึ่งย่อมาจาก “พื้นที่ใต้เส้นโค้ง”

ค่า AUC มีตั้งแต่ 0 ถึง 1 โมเดลที่มี AUC เท่ากับ 1 สามารถจำแนกการสังเกตออกเป็นคลาสได้อย่างสมบูรณ์แบบ ในขณะที่โมเดลที่มี AUC 0.5 ก็ไม่ได้ดีไปกว่าแบบจำลองที่ทำการสุ่มเดา

คะแนน AUC ที่ดีคืออะไร?

คำถามที่นักเรียนมักถามเกี่ยวกับ AUC คือ:

คะแนน AUC ที่ดีคืออะไร?

คำตอบ:

ไม่มีเกณฑ์เฉพาะ สำหรับคะแนน AUC ที่ดี

แน่นอนว่ายิ่งคะแนน AUC สูงเท่าใด โมเดลก็ยิ่งมีความสามารถมากขึ้นในการจำแนกการสังเกตออกเป็นชั้นเรียนต่างๆ

และเรารู้ว่าแบบจำลองที่มีคะแนน AUC 0.5 ก็ไม่ได้ดีไปกว่าแบบจำลองที่ทำการเดาแบบสุ่ม

อย่างไรก็ตาม ไม่มีตัวเลขมหัศจรรย์ที่จะตัดสินว่าคะแนน AUC ดีหรือไม่ดี

หากเรา จำเป็นต้อง จำแนกคะแนนบางประเภทว่าดีหรือไม่ดี เราสามารถอ้างอิงกฎทั่วไปต่อไปนี้จาก Hosmer และ Lemeshow ใน Applied Logistic Regression (หน้า 177):

• 0.5 = ไม่มีการเลือกปฏิบัติ
• 0.5-0.7 = การเลือกปฏิบัติที่ไม่ดี
• 0.7-0.8 = การเลือกปฏิบัติที่ยอมรับได้
• 0.8-0.9 = แยกแยะได้ดีเยี่ยม
• >0.9 = การเลือกปฏิบัติที่ยอดเยี่ยม

ตามมาตรฐานเหล่านี้ โมเดลที่มีคะแนน AUC ต่ำกว่า 0.7 จะถือว่าแย่ และโมเดลใดๆ ที่สูงกว่าจะถือว่ายอมรับได้หรือดีกว่า

คะแนน AUC ที่ “ดี” จะแตกต่างกันไปตามอุตสาหกรรม

สิ่งสำคัญคือต้องจำไว้ว่าคะแนน AUC ที่ “ดี” จะแตกต่างกันไปตามอุตสาหกรรม

ตัวอย่างเช่น ในวงการแพทย์ นักวิจัยมักมองหาคะแนน AUC ที่สูงกว่า 0.95 เนื่องจากค่าใช้จ่ายในการทำผิดพลาดนั้นสูงมาก

ตัวอย่างเช่น หากเรามีแบบจำลองการถดถอยลอจิสติกที่คาดการณ์ว่าผู้ป่วยจะเกิดมะเร็งหรือไม่ ค่าใช้จ่ายในการทำผิดพลาด (การบอกคนไข้ผิด ๆ ว่าเขาไม่มีมะเร็งแล้วว่ามีมะเร็ง) ก็สูงมากจนเราต้องการ แบบที่ถูกต้องเกือบทุกครั้ง

ในทางกลับกัน ในอุตสาหกรรมอื่นๆ เช่น การตลาด คะแนน AUC ที่ต่ำกว่าอาจเป็นที่ยอมรับสำหรับโมเดลหนึ่งๆ

ตัวอย่างเช่น หากเรามีแบบจำลองที่คาดการณ์ว่าลูกค้าจะเป็นลูกค้าซ้ำหรือไม่ ราคาของการทำผิดจะไม่เปลี่ยนแปลงชีวิต ดังนั้นโมเดลที่มี AUC ต่ำเพียง 0.6 ก็ยังมีประโยชน์อยู่

เปรียบเทียบคะแนน AUC กับรุ่นปัจจุบัน

ในการตั้งค่าในโลกแห่งความเป็นจริง เรามักจะเปรียบเทียบคะแนน AUC ของแบบจำลองการถดถอยโลจิสติกใหม่กับคะแนน AUC ของแบบจำลองปัจจุบันที่ใช้งานอยู่

ตัวอย่างเช่น สมมติว่าบริษัทใช้แบบจำลองการถดถอยโลจิสติกเพื่อคาดการณ์ว่าลูกค้าจะเป็นลูกค้าประจำหรือไม่

หากโมเดลปัจจุบันมีคะแนน AUC 0.6 และคุณพัฒนาโมเดลใหม่ที่มี AUC 0.65 ดังนั้นโมเดลใหม่ที่คุณพัฒนาจะดีกว่า แม้ว่าจะมีการปรับปรุงเพียงเล็กน้อยเท่านั้น และ Hosmer และ Lemeshow จะถือว่าโมเดลใหม่ “แย่” มาตรฐาน

แหล่งข้อมูลเพิ่มเติม

บทช่วยสอนต่อไปนี้ให้ข้อมูลเพิ่มเติมเกี่ยวกับวิธีการสร้างและตีความเส้นโค้ง ROC และคะแนน AUC:

วิธีการตีความ ROC Curve (พร้อมตัวอย่าง)
วิธีสร้าง ROC Curve ใน Python
วิธีสร้างเส้นโค้ง ROC ใน R
วิธีการคำนวณ AUC ใน R