مقدمة للانحدار متعدد الحدود
عندما يكون لدينا مجموعة بيانات تحتوي على متغير متوقع ومتغير استجابة ، فغالبًا ما نستخدم الانحدار الخطي البسيط لتحديد العلاقة بين المتغيرين.
ومع ذلك، يفترض الانحدار الخطي البسيط (SLR) أن العلاقة بين المتنبئ ومتغير الاستجابة خطية. مكتوبة بالتدوين الرياضي، تفترض SLR أن العلاقة تأخذ الشكل:
ص = β 0 + β 1 X + ε
ولكن من الناحية العملية، قد تكون العلاقة بين المتغيرين غير خطية في الواقع وقد تؤدي محاولة استخدام الانحدار الخطي إلى نموذج غير مناسب.
إحدى الطرق لحساب العلاقة غير الخطية بين المتنبئ ومتغير الاستجابة هي استخدام الانحدار متعدد الحدود ، والذي يأخذ الشكل:
Y = β 0 + β 1 X + β 2 X 2 + … + β h
في هذه المعادلة، h تسمى درجة كثير الحدود.
عندما نزيد قيمة h ، يكون النموذج قادرًا على استيعاب العلاقات غير الخطية بشكل أفضل، ولكن في الممارسة العملية نادرًا ما نختار h لتكون أكبر من 3 أو 4. وبعد هذه النقطة، يصبح النموذج مرنًا للغاية ويتجاوز البيانات .
الملاحظات الفنية
- على الرغم من أن الانحدار متعدد الحدود يمكن أن يناسب البيانات غير الخطية، إلا أنه لا يزال يعتبر شكلاً من أشكال الانحدار الخطي لأنه خطي في المعاملات β1 ، β2 ، …، βh .
- يمكن أيضًا استخدام الانحدار متعدد الحدود لمتغيرات توقع متعددة، ولكن هذا يخلق مصطلحات تفاعل في النموذج، مما قد يجعل النموذج معقدًا للغاية إذا تم استخدام متغيرات توقع متعددة.
متى يتم استخدام الانحدار متعدد الحدود
نحن نستخدم الانحدار متعدد الحدود عندما تكون العلاقة بين المتنبئ ومتغير الاستجابة غير خطية.
هناك ثلاث طرق شائعة لاكتشاف العلاقة غير الخطية:
1. قم بإنشاء مخطط مبعثر.
إن أبسط طريقة لاكتشاف العلاقة غير الخطية هي إنشاء مخطط تشتت لمتغير الاستجابة مقابل متغير التوقع.
على سبيل المثال، إذا قمنا بإنشاء مخطط التشتت التالي، يمكننا أن نرى أن العلاقة بين المتغيرين خطية تقريبًا، لذلك من المحتمل أن يعمل الانحدار الخطي البسيط بشكل جيد على هذه البيانات.
ومع ذلك، إذا كان مخطط التشتت الخاص بنا يشبه أحد الرسوم البيانية التالية، فقد نرى أن العلاقة غير خطية وبالتالي فإن الانحدار متعدد الحدود سيكون فكرة جيدة:
2. إنشاء قطعة أرض من المخلفات مقابل قطعة الأرض المجهزة.
هناك طريقة أخرى لاكتشاف اللاخطية وهي ملاءمة نموذج الانحدار الخطي البسيط للبيانات ثم إنتاج مخطط للبقايا مقابل القيم المجهزة .
إذا تم توزيع بقايا قطعة الأرض بالتساوي تقريبًا حول الصفر مع عدم وجود اتجاه واضح، فمن المحتمل أن يكون الانحدار الخطي البسيط كافيًا.
ومع ذلك، إذا أظهرت البقايا اتجاهًا غير خطي في الرسم البياني، فهذا يشير إلى أن العلاقة بين المتنبئ والاستجابة من المحتمل أن تكون غير خطية.
3. احسب R2 للنموذج.
تخبرك قيمة R 2 لنموذج الانحدار بنسبة التباين في متغير الاستجابة الذي يمكن تفسيره بواسطة متغير (متغيرات) التوقع.
إذا قمت بملاءمة نموذج انحدار خطي بسيط لمجموعة بيانات وكانت قيمة R 2 للنموذج منخفضة جدًا، فقد يشير هذا إلى أن العلاقة بين المتنبئ ومتغير الاستجابة أكثر تعقيدًا من العلاقة الخطية البسيطة.
قد تكون هذه علامة على أنك قد تحتاج إلى تجربة الانحدار متعدد الحدود بدلاً من ذلك.
ذات صلة: ما هي قيمة R-squared الجيدة؟
كيفية اختيار درجة كثير الحدود
يأخذ نموذج الانحدار متعدد الحدود الشكل التالي:
Y = β 0 + β 1 X + β 2 X 2 + … + β h
في هذه المعادلة، h هي درجة كثير الحدود.
ولكن كيف تختار قيمة h ؟
من الناحية العملية، نحن نلائم عدة نماذج مختلفة بقيم مختلفة لـ h ونجري التحقق من الصحة عبر k-fold لتحديد النموذج الذي ينتج أدنى اختبار لمتوسط الخطأ التربيعي (MSE).
على سبيل المثال، يمكننا ملاءمة النماذج التالية لمجموعة بيانات معينة:
- ص = β 0 + β 1
- ص = β 0 + β 1 X + β 2 X 2
- Y = β0 + β1X + β2X2 + β3X3
- Y = β 0 + β 1 X + β 2 X 2 + β 3 X 3 + β 4 X 4
يمكننا بعد ذلك استخدام التحقق المتقاطع k-fold لحساب اختبار MSE لكل نموذج، والذي سيخبرنا عن مدى جودة أداء كل نموذج على البيانات التي لم يراها من قبل.
مقايضة التحيز والتباين للانحدار متعدد الحدود
هناك مقايضة التحيز والتباين عند استخدام الانحدار متعدد الحدود. عندما نزيد درجة كثيرة الحدود، يقل الانحياز (حيث يصبح النموذج أكثر مرونة) لكن التباين يزداد.
كما هو الحال مع جميع نماذج التعلم الآلي، نحتاج إلى إيجاد المفاضلة الأمثل بين التحيز والتباين.
في معظم الحالات يسمح هذا بزيادة درجة كثير الحدود إلى حد ما، ولكن بعد قيمة معينة يبدأ النموذج في التكيف مع الضوضاء في البيانات ويبدأ MSE للاختبار في الانخفاض.
للتأكد من أننا نلائم نموذجًا مرنًا ولكنه ليس مرنًا جدًا ، نستخدم التحقق المتقاطع k-fold للعثور على النموذج الذي ينتج أقل اختبار MSE.
كيفية إجراء الانحدار متعدد الحدود
توفر البرامج التعليمية التالية أمثلة عن كيفية تنفيذ الانحدار متعدد الحدود في برامج مختلفة:
كيفية تنفيذ الانحدار متعدد الحدود في إكسيل
كيفية إجراء الانحدار متعدد الحدود في R
كيفية إجراء الانحدار متعدد الحدود في بايثون
About Author
دكتور بنيامين أندرسون
مرحبًا، أنا بنجامين، أستاذ الإحصاء المتقاعد الذي تحول إلى مدرس متخصص في Statorials. بفضل خبرتي الواسعة في مجال الإحصاء، فأنا حريص على مشاركة معرفتي لتمكين الطلاب من خلال Statorials. تعرف أكثر