लैस्सो रिग्रेशन का परिचय

सामान्य एकाधिक रैखिक प्रतिगमन में, हम फॉर्म के एक मॉडल को फिट करने के लिए पी भविष्यवक्ता चर और एक प्रतिक्रिया चर का एक सेट का उपयोग करते हैं:

वाई = β ₀ + β ₁ एक्स _{1 +} β ₂ एक्स ₂ + … + β _पी

सोना:

• Y : प्रतिक्रिया चर
• एक्स _जे : जे ^वें पूर्वानुमानित चर
• β _जे : एक्स _जे में एक इकाई की वृद्धि का वाई पर औसत प्रभाव, अन्य सभी भविष्यवक्ताओं को स्थिर रखता है
• ε : त्रुटि पद

β ₀ , β ₁ , B ₂ , …, β _p का मान न्यूनतम वर्ग विधि का उपयोग करके चुना जाता है, जो अवशेषों (RSS) के वर्गों के योग को कम करता है:

आरएसएस = Σ(y _i – ŷ _i ) ²

सोना:

• Σ : एक ग्रीक प्रतीक जिसका अर्थ है योग
• y _i : ^iवें अवलोकन के लिए वास्तविक प्रतिक्रिया मान
• ŷ _i : एकाधिक रेखीय प्रतिगमन मॉडल के आधार पर अनुमानित प्रतिक्रिया मूल्य

हालाँकि, जब भविष्यवक्ता चर अत्यधिक सहसंबद्ध होते हैं, तो बहुसंरेखता एक समस्या बन सकती है। यह मॉडल गुणांक अनुमानों को अविश्वसनीय बना सकता है और उच्च विचरण प्रदर्शित कर सकता है। यानी, जब मॉडल को एक नए डेटा सेट पर लागू किया जाता है जिसे उसने पहले कभी नहीं देखा है, तो उसके खराब प्रदर्शन की संभावना है।

इस समस्या से निजात पाने का एक तरीका लैस्सो रिग्रेशन नामक विधि का उपयोग करना है, जो इसके बजाय निम्नलिखित को कम करना चाहता है:

आरएसएस + λΣ|β _जे |

जहां j 1 से p और λ ≥ 0 तक जाता है।

समीकरण में इस दूसरे पद को निकासी दंड के रूप में जाना जाता है।

जब λ = 0, इस दंड शब्द का कोई प्रभाव नहीं पड़ता है और लैस्सो प्रतिगमन कम से कम वर्गों के समान गुणांक अनुमान उत्पन्न करता है।

हालाँकि, जैसे-जैसे λ अनंत तक पहुंचता है, निष्कासन दंड अधिक प्रभावशाली हो जाता है और पूर्वानुमानित चर जो मॉडल में आयात करने योग्य नहीं होते हैं उन्हें शून्य कर दिया जाता है और कुछ को मॉडल से हटा भी दिया जाता है।

लैस्सो रिग्रेशन का उपयोग क्यों करें?

कम से कम वर्ग प्रतिगमन पर लैस्सो प्रतिगमन का लाभ पूर्वाग्रह-विचरण व्यापार है।

याद रखें कि मीन स्क्वायर एरर (एमएसई) एक मीट्रिक है जिसका उपयोग हम किसी दिए गए मॉडल की सटीकता को मापने के लिए कर सकते हैं और इसकी गणना निम्नानुसार की जाती है:

एमएसई = वार( एफ̂( एक्स ₀ )) + [पूर्वाग्रह( एफ̂( एक्स ₀ ))] ² + वार(ε)

एमएसई = वेरिएंस + बायस ² + इरेड्यूसबल त्रुटि

लैस्सो रिग्रेशन का मूल विचार एक छोटा सा पूर्वाग्रह पेश करना है ताकि विचरण को काफी कम किया जा सके, जिससे समग्र एमएसई कम हो।

इसे स्पष्ट करने के लिए, निम्नलिखित ग्राफ़ पर विचार करें:

ध्यान दें कि जैसे-जैसे λ बढ़ता है, पूर्वाग्रह में बहुत कम वृद्धि के साथ विचरण काफी कम हो जाता है। हालाँकि, एक निश्चित बिंदु से परे, विचरण कम तेजी से घटता है और गुणांकों में कमी से उनका महत्वपूर्ण कम आकलन होता है, जिससे पूर्वाग्रह में तेज वृद्धि होती है।

हम ग्राफ़ से देख सकते हैं कि परीक्षण का एमएसई सबसे कम है जब हम λ के लिए एक मान चुनते हैं जो पूर्वाग्रह और भिन्नता के बीच एक इष्टतम व्यापार-बंद उत्पन्न करता है।

जब λ = 0, लासो रिग्रेशन में दंड शब्द का कोई प्रभाव नहीं पड़ता है और इसलिए कम से कम वर्गों के समान गुणांक अनुमान उत्पन्न होता है। हालाँकि, λ को एक निश्चित बिंदु तक बढ़ाकर, हम परीक्षण के समग्र MSE को कम कर सकते हैं।

इसका मतलब यह है कि लैस्सो रिग्रेशन द्वारा मॉडल फिटिंग कम से कम वर्ग रिग्रेशन द्वारा मॉडल फिटिंग की तुलना में छोटी परीक्षण त्रुटियां उत्पन्न करेगी।

लैस्सो रिग्रेशन बनाम रिज रिग्रेशन

लैस्सो रिग्रेशन और रिज रिग्रेशन दोनों को नियमितीकरण विधियों के रूप में जाना जाता है क्योंकि वे दोनों वर्गों के अवशिष्ट योग (आरएसएस) के साथ-साथ एक निश्चित दंड अवधि को कम करने का प्रयास करते हैं।

दूसरे शब्दों में, वे मॉडल गुणांकों के अनुमानों को बाधित या नियमित करते हैं ।

हालाँकि, उनके द्वारा उपयोग की जाने वाली दंड शर्तें थोड़ी भिन्न हैं:

• लैस्सो प्रतिगमन RSS + λΣ|β _j | को कम करने का प्रयास करता है
• रिज रिग्रेशन RSS + λΣβ _j ² को कम करने का प्रयास करता है

जब हम रिज रिग्रेशन का उपयोग करते हैं, तो प्रत्येक भविष्यवक्ता के गुणांक शून्य हो जाते हैं लेकिन उनमें से कोई भी पूरी तरह से शून्य पर नहीं जा सकता है।

इसके विपरीत, जब हम लैस्सो प्रतिगमन का उपयोग करते हैं, तो यह संभव है कि कुछ गुणांक पूरी तरह से शून्य हो जाते हैं जब λ काफी बड़ा हो जाता है।

तकनीकी शब्दों में, लैस्सो रिग्रेशन “विरल” मॉडल का उत्पादन करने में सक्षम है, अर्थात, ऐसे मॉडल जिनमें केवल भविष्यवक्ता चर का एक सबसेट शामिल होता है।

इससे सवाल उठता है: क्या रिज रिग्रेशन या लैस्सो रिग्रेशन बेहतर है?

उत्तर: यह निर्भर करता है!

ऐसे मामलों में जहां केवल कुछ ही भविष्यवक्ता चर महत्वपूर्ण होते हैं, लैस्सो रिग्रेशन बेहतर काम करता है क्योंकि यह महत्वहीन चर को पूरी तरह से शून्य तक कम करने और उन्हें मॉडल से हटाने में सक्षम है।

हालाँकि, जब मॉडल में कई भविष्यवक्ता चर महत्वपूर्ण होते हैं और उनके गुणांक लगभग बराबर होते हैं, तो रिज रिग्रेशन बेहतर काम करता है क्योंकि यह सभी भविष्यवक्ताओं को मॉडल में रखता है।

यह निर्धारित करने के लिए कि कौन सा मॉडल पूर्वानुमान लगाने में सबसे प्रभावी है, हम के-फोल्ड क्रॉस-सत्यापन करते हैं। जो भी मॉडल सबसे कम माध्य वर्ग त्रुटि (MSE) उत्पन्न करता है वह उपयोग करने के लिए सबसे अच्छा मॉडल है।

अभ्यास में लैस्सो रिग्रेशन करने के चरण

लैस्सो रिग्रेशन करने के लिए निम्नलिखित चरणों का उपयोग किया जा सकता है:

चरण 1: भविष्यवक्ता चर के लिए सहसंबंध मैट्रिक्स और वीआईएफ मानों की गणना करें।

सबसे पहले, हमें एक सहसंबंध मैट्रिक्स तैयार करने और प्रत्येक भविष्यवक्ता चर के लिए वीआईएफ (विचरण मुद्रास्फीति कारक) मूल्यों की गणना करने की आवश्यकता है।

यदि हम भविष्यवक्ता चर और उच्च वीआईएफ मानों के बीच एक मजबूत सहसंबंध का पता लगाते हैं (कुछ पाठ “उच्च” वीआईएफ मान को 5 के रूप में परिभाषित करते हैं जबकि अन्य 10 का उपयोग करते हैं), तो लैस्सो प्रतिगमन संभवतः उपयुक्त है।

हालाँकि, यदि डेटा में कोई बहुसंरेखता नहीं है, तो पहले स्थान पर लैस्सो रिग्रेशन करने की कोई आवश्यकता नहीं हो सकती है। इसके बजाय, हम सामान्य न्यूनतम वर्ग प्रतिगमन निष्पादित कर सकते हैं।

चरण 2: लैस्सो रिग्रेशन मॉडल को फिट करें और λ के लिए एक मान चुनें।

एक बार जब हम यह निर्धारित कर लेते हैं कि लैस्सो रिग्रेशन उपयुक्त है, तो हम λ के लिए इष्टतम मान का उपयोग करके मॉडल (आर या पायथन जैसी लोकप्रिय प्रोग्रामिंग भाषाओं का उपयोग करके) फिट कर सकते हैं।

λ के लिए इष्टतम मान निर्धारित करने के लिए, हम λ के लिए विभिन्न मानों का उपयोग करके कई मॉडल फिट कर सकते हैं और λ को उस मान के रूप में चुन सकते हैं जो सबसे कम MSE परीक्षण उत्पन्न करता है।

चरण 3: लैस्सो रिग्रेशन की तुलना रिज रिग्रेशन और साधारण न्यूनतम वर्ग रिग्रेशन से करें।

अंत में, हम अपने लैस्सो रिग्रेशन मॉडल की तुलना रिज रिग्रेशन मॉडल और कम से कम वर्ग रिग्रेशन मॉडल से कर सकते हैं ताकि यह निर्धारित किया जा सके कि कौन सा मॉडल के-फोल्ड क्रॉस-वैलिडेशन का उपयोग करके सबसे कम एमएसई परीक्षण उत्पन्न करता है।

भविष्यवक्ता चर और प्रतिक्रिया चर के बीच संबंध के आधार पर, यह पूरी तरह से संभव है कि इन तीन मॉडलों में से एक अलग-अलग परिदृश्यों में दूसरों से बेहतर प्रदर्शन करेगा।

आर और पायथन में लैस्सो रिग्रेशन

निम्नलिखित ट्यूटोरियल बताते हैं कि आर और पायथन में लैस्सो रिग्रेशन कैसे करें:

आर में लैस्सो रिग्रेशन (कदम दर कदम)
पायथन में लासो रिग्रेशन (कदम दर कदम)