مقدمة إلى انحدار لاسو

في الانحدار الخطي المتعدد العادي، نستخدم مجموعة من متغيرات التوقع p ومتغير الاستجابة لتناسب نموذج النموذج:

Y = β ₀ + β ₁ X _{1 +} β ₂ X ₂ + … + β _p

ذهب:

• Y : متغير الاستجابة
• X _j : ^{المتغير} التنبئي j
• β _j : متوسط التأثير على Y لزيادة وحدة واحدة في X _j ، مع تثبيت جميع المتنبئات الأخرى
• ε : مصطلح الخطأ

يتم اختيار قيم β ₀ , β ₁ , B ₂ , …, β _p باستخدام طريقة المربعات الصغرى التي تقلل مجموع مربعات البقايا (RSS):

RSS = Σ(y _i – ŷ _i ) ²

ذهب:

• Σ : رمز يوناني معناه المجموع
• y _i : قيمة الاستجابة الفعلية للملاحظة ^{رقم i}
• ŷ _i : قيمة الاستجابة المتوقعة بناءً على نموذج الانحدار الخطي المتعدد

ومع ذلك، عندما تكون متغيرات التوقع مترابطة بشكل كبير، يمكن أن تصبح العلاقة الخطية المتعددة مشكلة. وهذا يمكن أن يجعل تقديرات معامل النموذج غير موثوقة وتظهر تباينًا كبيرًا. أي أنه عند تطبيق النموذج على مجموعة بيانات جديدة لم يسبق له رؤيتها من قبل، فمن المرجح أن يكون أداؤه ضعيفًا.

إحدى طرق التغلب على هذه المشكلة هي استخدام طريقة تُعرف باسم lasso regression ، والتي تسعى بدلاً من ذلك إلى تقليل ما يلي:

RSS + Σ|β _ي |

حيث ينتقل j من 1 إلى p و ≥ ≥ 0.

يُعرف هذا الحد الثاني في المعادلة بعقوبة الانسحاب .

عندما تكون 0 = 0، فإن مصطلح العقوبة هذا ليس له أي تأثير وينتج انحدار لاسو نفس تقديرات المعامل مثل المربعات الصغرى.

ومع ذلك، مع اقتراب π من اللانهاية، تصبح عقوبة الإزالة أكثر تأثيرًا ويتم تقليل المتغيرات التنبؤية غير القابلة للاستيراد إلى النموذج إلى الصفر، بل ويتم إزالة بعضها من النموذج.

لماذا استخدام انحدار لاسو؟

ميزة انحدار لاسو على انحدار المربعات الصغرى هي مقايضة التحيز والتباين .

تذكر أن متوسط مربع الخطأ (MSE) هو مقياس يمكننا استخدامه لقياس دقة نموذج معين ويتم حسابه على النحو التالي:

MSE = فار( f̂( x ₀ ) ) + [التحيز( f̂( x ₀ )))] ² + فار(ε)

MSE = التباين + الانحياز ² + خطأ غير قابل للاختزال

الفكرة الأساسية لانحدار اللاسو هي تقديم انحياز صغير بحيث يمكن تقليل التباين بشكل كبير، مما يؤدي إلى انخفاض إجمالي المشروعات الصغيرة والمتوسطة.

لتوضيح ذلك، انظر إلى الرسم البياني التالي:

لاحظ أنه مع زيادة π، يتناقص التباين بشكل ملحوظ مع زيادة طفيفة جدًا في الانحياز. ومع ذلك، بعد نقطة معينة، يتناقص التباين بسرعة أقل ويؤدي انخفاض المعاملات إلى التقليل بشكل كبير من تقديرها، مما يؤدي إلى زيادة حادة في التحيز.

يمكننا أن نرى من الرسم البياني أن MSE للاختبار هو الأدنى عندما نختار قيمة π التي تنتج مفاضلة مثالية بين التحيز والتباين.

عندما تكون 0 = 0، فإن الحد الجزائي في انحدار اللاسو ليس له أي تأثير وبالتالي ينتج نفس تقديرات المعامل مثل المربعات الصغرى. ومع ذلك، من خلال زيادة π إلى نقطة معينة، يمكننا تقليل MSE الإجمالي للاختبار.

وهذا يعني أن ملاءمة النموذج عن طريق انحدار اللاسو سوف تنتج أخطاء اختبار أصغر من ملاءمة النموذج عن طريق انحدار المربعات الصغرى.

انحدار لاسو مقابل انحدار ريدج

يُعرف كل من انحدار Lasso وانحدار Ridge بطرق التنظيم لأنهما يحاولان تقليل مجموع المربعات المتبقية (RSS) بالإضافة إلى مدة عقوبة معينة.

وبعبارة أخرى، فإنها تقيد أو تنظم تقديرات معاملات النموذج.

ومع ذلك، فإن شروط العقوبة التي يستخدمونها مختلفة قليلاً:

• يحاول انحدار Lasso تقليل RSS + Σ|β _j |
• يحاول انحدار ريدج تقليل RSS + Σβ _j ²

عندما نستخدم انحدار التلال، يتم تقليل معاملات كل متنبئ إلى الصفر ولكن لا يمكن لأي منها أن يصل إلى الصفر تمامًا .

على العكس من ذلك، عندما نستخدم انحدار لاسو، فمن الممكن أن تصبح بعض المعاملات صفرًا تمامًا عندما تصبح π كبيرة بدرجة كافية.

من الناحية الفنية، فإن انحدار اللاسو قادر على إنتاج نماذج “متفرقة”، أي النماذج التي تتضمن فقط مجموعة فرعية من المتغيرات المتوقعة.

وهذا يطرح السؤال: هل انحدار ريدج أم انحدار لاسو أفضل؟

الجواب: ذلك يعتمد!

في الحالات التي يكون فيها عدد صغير فقط من متغيرات التوقع ذات أهمية، يميل انحدار اللاسو إلى العمل بشكل أفضل لأنه قادر على تقليل المتغيرات غير المهمة تمامًا إلى الصفر وإزالتها من النموذج.

ومع ذلك، عندما تكون العديد من المتغيرات المتوقعة مهمة في النموذج وتكون معاملاتها متساوية تقريبًا، يميل انحدار التلال إلى العمل بشكل أفضل لأنه يحافظ على جميع المتنبئين في النموذج.

لتحديد النموذج الأكثر فعالية في عمل التنبؤات، نقوم بإجراء التحقق من الصحة عبر k-fold . أي نموذج ينتج أدنى متوسط للخطأ المربع (MSE) هو النموذج الأفضل للاستخدام.

خطوات تنفيذ انحدار لاسو في الممارسة العملية

يمكن استخدام الخطوات التالية لإجراء انحدار لاسو:

الخطوة 1: حساب مصفوفة الارتباط وقيم VIF لمتغيرات التوقع.

أولاً، نحتاج إلى إنتاج مصفوفة ارتباط وحساب قيم VIF (عامل تضخم التباين) لكل متغير متنبئ.

إذا اكتشفنا وجود علاقة قوية بين متغيرات التوقع وقيم VIF العالية (تعرف بعض النصوص قيمة VIF “العالية” على أنها 5 بينما يستخدم البعض الآخر 10)، فمن المحتمل أن يكون انحدار اللاسو مناسبًا.

ومع ذلك، إذا لم يكن هناك علاقة خطية متعددة في البيانات، فقد لا تكون هناك حاجة لإجراء انحدار لاسو في المقام الأول. بدلا من ذلك، يمكننا إجراء الانحدار العادي للمربعات الصغرى.

الخطوة 2: قم بملاءمة نموذج انحدار اللاسو واختر قيمة لـ .

بمجرد أن نحدد أن انحدار اللاسو مناسب، يمكننا ملاءمة النموذج (باستخدام لغات البرمجة الشائعة مثل R أو Python) باستخدام القيمة المثلى لـ lect.

لتحديد القيمة المثلى لـ π، يمكننا ملاءمة نماذج متعددة باستخدام قيم مختلفة لـ π واختيار π كقيمة تنتج أدنى اختبار MSE.

الخطوة 3: قارن انحدار اللاسو بانحدار التلال وانحدار المربعات الصغرى العادية.

أخيرًا، يمكننا مقارنة نموذج انحدار اللاسو الخاص بنا بنموذج انحدار التلال ونموذج انحدار المربعات الصغرى لتحديد النموذج الذي ينتج أقل اختبار MSE باستخدام التحقق المتقاطع k-fold.

اعتمادًا على العلاقة بين متغيرات التوقع ومتغير الاستجابة، من الممكن تمامًا أن يتفوق أحد هذه النماذج الثلاثة على النماذج الأخرى في سيناريوهات مختلفة.

انحدار لاسو في R وPython

تشرح البرامج التعليمية التالية كيفية تنفيذ انحدار اللاسو في R وPython:

انحدار لاسو في R (خطوة بخطوة)
انحدار لاسو في بايثون (خطوة بخطوة)