दो आरओसी वक्रों की तुलना कैसे करें (उदाहरण के साथ)

मशीन लर्निंग में वर्गीकरण मॉडल के प्रदर्शन की कल्पना करने का एक तरीका एक आरओसी वक्र बनाना है, जो “रिसीवर ऑपरेटिंग विशेषता” वक्र के लिए है।

इस प्रकार का वक्र वर्गीकरण मॉडल की संवेदनशीलता और विशिष्टता को प्रदर्शित करता है:

• संवेदनशीलता: संभावना है कि मॉडल किसी अवलोकन के लिए सकारात्मक परिणाम की भविष्यवाणी करता है जब परिणाम वास्तव में सकारात्मक होता है।
• विशिष्टता: संभावना है कि मॉडल किसी अवलोकन के लिए नकारात्मक परिणाम की भविष्यवाणी करता है जब परिणाम वास्तव में नकारात्मक होता है।

ROC वक्र का x-अक्ष (1- विशिष्टता) दर्शाता है और y-अक्ष संवेदनशीलता दर्शाता है:

आरओसी वक्र प्लॉट के ऊपरी बाएँ कोने के जितना करीब फिट होगा, मॉडल उतना ही बेहतर डेटा को श्रेणियों में वर्गीकृत करने में सक्षम होगा।

इसे मापने के लिए, हम एयूसी (वक्र के नीचे का क्षेत्र) की गणना कर सकते हैं जो हमें बताता है कि प्लॉट का कितना हिस्सा वक्र के नीचे है।

AUC 1 के जितना करीब होगा, मॉडल उतना ही बेहतर होगा।

यह निर्धारित करने के लिए कि कौन सा वर्गीकरण मॉडल बेहतर है, दो आरओसी वक्रों की तुलना करते समय, हम अक्सर देखते हैं कि कौन सा आरओसी वक्र प्लॉट के ऊपरी बाएं कोने के अधिक करीब से “आलिंगन” करता है और इसलिए इसका एयूसी मूल्य अधिक है।

उदाहरण: दो आरओसी वक्रों की तुलना कैसे करें

मान लीजिए कि हम एक प्रतिक्रिया चर के परिणाम की भविष्यवाणी करने के लिए एक लॉजिस्टिक रिग्रेशन मॉडल और एक ग्रेडिएंट-एन्हांस्ड मॉडल को डेटासेट में फिट करते हैं।

मान लीजिए कि हम प्रत्येक मॉडल के प्रदर्शन की कल्पना करने के लिए आरओसी वक्र बनाते हैं:

नीली रेखा लॉजिस्टिक रिग्रेशन मॉडल के लिए आरओसी वक्र दिखाती है और नारंगी रेखा ग्रेडिएंट बूस्टेड मॉडल के लिए आरओसी वक्र दिखाती है।

हमारे चार्ट से, हम प्रत्येक मॉडल के लिए निम्नलिखित AUC मान देख सकते हैं:

• लॉजिस्टिक रिग्रेशन मॉडल का एयूसी: 0.7902
• ग्रेडिएंट बूस्टेड मॉडल का एयूसी: 0.9712

चूँकि ग्रेडिएंट इम्प्रूव्ड मॉडल का AUC मान अधिक है, हम कहेंगे कि यह प्रतिक्रिया चर के परिणाम की बेहतर भविष्यवाणी करता है।

ध्यान दें : इस उदाहरण में, हमने केवल दो आरओसी वक्रों की तुलना की है, लेकिन कई अलग-अलग वर्गीकरण मॉडल को डेटासेट में फिट करना और उपयोग करने के लिए सर्वोत्तम मॉडल निर्धारित करने के लिए और भी अधिक आरओसी वक्रों की तुलना करना संभव है।

अतिरिक्त संसाधन

निम्नलिखित ट्यूटोरियल वर्गीकरण मॉडल और आरओसी वक्रों के बारे में अतिरिक्त जानकारी प्रदान करते हैं:

लॉजिस्टिक रिग्रेशन का परिचय
आरओसी वक्र की व्याख्या कैसे करें
एक अच्छा AUC स्कोर क्या माना जाता है?