كيفية المقارنة بين منحنيين roc (مع مثال)

تتمثل إحدى طرق تصور أداء نماذج التصنيف في التعلم الآلي في إنشاء منحنى ROC ، والذي يرمز إلى منحنى “خاصية تشغيل المستقبل”.

يعرض هذا النوع من المنحنى حساسية وخصوصية نموذج التصنيف:

• الحساسية: احتمال أن يتنبأ النموذج بنتيجة إيجابية لملاحظة ما عندما تكون النتيجة إيجابية بالفعل.
• الخصوصية: احتمال أن يتنبأ النموذج بنتيجة سلبية لملاحظة ما عندما تكون النتيجة سلبية بالفعل.

يمثل المحور السيني لمنحنى ROC (1- الخصوصية) ويمثل المحور الصادي الحساسية :

كلما اقترب منحنى ROC من الزاوية اليسرى العليا من المخطط، كلما كان النموذج قادرًا على تصنيف البيانات إلى فئات بشكل أفضل.

لتحديد ذلك، يمكننا حساب AUC (المساحة الواقعة تحت المنحنى) والتي تخبرنا بمقدار قطعة الأرض الموجودة تحت المنحنى.

كلما اقتربت AUC من 1، كان النموذج أفضل.

عند مقارنة منحنيين ROC لتحديد نموذج التصنيف الأفضل، غالبًا ما ننظر إلى أي منحنى ROC “يعانق” بشكل أقرب إلى الزاوية اليسرى العليا من المخطط، وبالتالي لديه قيمة AUC أعلى.

مثال: كيفية مقارنة منحنيين ROC

لنفترض أننا نلائم نموذج الانحدار اللوجستي ونموذج التدرج المحسن لمجموعة بيانات للتنبؤ بنتيجة متغير الاستجابة.

لنفترض أننا قمنا بعد ذلك بإنشاء منحنيات ROC لتصور أداء كل نموذج:

يُظهر الخط الأزرق منحنى ROC لنموذج الانحدار اللوجستي ويظهر الخط البرتقالي منحنى ROC لنموذج التدرج المعزز.

من خلال الرسم البياني الخاص بنا، يمكننا رؤية قيم AUC التالية لكل نموذج:

• AUC لنموذج الانحدار اللوجستي: 0.7902
• AUC من نموذج التدرج المعزز: 0.9712

نظرًا لأن نموذج التدرج المحسن له قيمة AUC أعلى، فيمكننا القول إنه يتنبأ بنتيجة متغير الاستجابة بشكل أفضل.

ملاحظة : في هذا المثال، قمنا فقط بمقارنة منحنيي ROC، ولكن من الممكن ملاءمة عدة نماذج تصنيف مختلفة لمجموعة بيانات ومقارنة المزيد من منحنيات ROC لتحديد أفضل نموذج يمكن استخدامه.

مصادر إضافية

توفر البرامج التعليمية التالية معلومات إضافية حول نماذج التصنيف ومنحنيات ROC:

مقدمة في الانحدار اللوجستي
كيفية تفسير منحنى ROC
ما الذي يعتبر درجة جيدة في الجامعة الأمريكية بالقاهرة؟