ما هو الاختيار المرحلي؟ (شرح وأمثلة)

في مجال التعلم الآلي، هدفنا هو إنشاء نموذج يمكنه استخدام مجموعة من المتغيرات المتوقعة بشكل فعال للتنبؤ بقيمة متغير الاستجابة .

بالنظر إلى مجموعة من المتغيرات التوقعية الإجمالية ، هناك العديد من النماذج التي يمكننا بناءها. تُعرف إحدى الطرق التي يمكننا استخدامها لاختيار أفضل نموذج باسم اختيار أفضل مجموعة فرعية ، والتي تحاول اختيار أفضل نموذج من جميع النماذج الممكنة التي يمكن بناؤها باستخدام مجموعة المتنبئين.

ولسوء الحظ فإن هذه الطريقة تعاني من عيبين:

• يمكن أن يكون هذا مكثفًا من الناحية الحسابية. بالنسبة لمجموعة من المتغيرات التوقعية p ، هناك نموذجين ^ممكنين . على سبيل المثال، مع 10 متغيرات تنبؤية، هناك 2 ¹⁰ = 1000 نموذج محتمل يجب أخذه في الاعتبار.
• نظرًا لأنه يأخذ في الاعتبار عددًا كبيرًا جدًا من النماذج، فمن المحتمل أن يجد نموذجًا يؤدي أداءً جيدًا في بيانات التدريب ولكن ليس في البيانات المستقبلية. قد يؤدي هذا إلى الإفراط في التجهيز .

يُعرف البديل لاختيار أفضل مجموعة فرعية بالاختيار التدريجي ، والذي يقارن مجموعة أصغر بكثير من النماذج.

هناك نوعان من طرق اختيار الخطوة: اختيار الخطوة الأمامية واختيار الخطوة الخلفية.

خطوة بخطوة الاختيار إلى الأمام

يعمل التحديد خطوة بخطوة للأمام على النحو التالي:

1. اجعل M ₀ هو النموذج الفارغ، الذي لا يحتوي على متغير تنبؤي.

2. بالنسبة لـ k = 0، 2، … p-1:

• تناسب جميع نماذج pk التي تزيد من المتنبئات في M _k مع متغير توقع إضافي.
• اختر الأفضل من بين نماذج pk هذه وأطلق عليه اسم M _k+1 . حدد “الأفضل” باعتباره النموذج الذي يحتوي على أعلى R ² أو، على نحو مكافئ، أدنى RSS.

3. اختر أفضل نموذج منفرد من M ₀ … M _p باستخدام خطأ التنبؤ بالتحقق المتبادل، Cp، BIC، AIC أو R ² المعدلة.

خطوة بخطوة الاختيار إلى الوراء

يعمل اختيار الخطوة الخلفية على النحو التالي:

1. اجعل M _p هو النموذج الكامل الذي يحتوي على جميع المتغيرات التنبؤية p .

2. بالنسبة لـ k = p، p-1، … 1:

• تناسب جميع نماذج k التي تحتوي على جميع المتنبئات باستثناء واحد في _Mk ، لإجمالي متغيرات التوقع k-1.
• اختر الأفضل من بين هذه الموديلات k وأطلق عليه اسم M _k-1 . حدد “الأفضل” باعتباره النموذج الذي يحتوي على أعلى R ² أو، على نحو مكافئ، أدنى RSS.

3. اختر أفضل نموذج منفرد من M ₀ … M _p باستخدام خطأ التنبؤ بالتحقق المتبادل، Cp، BIC، AIC أو R ² المعدلة.

معايير اختيار النموذج “الأفضل”.

الخطوة الأخيرة في الاختيار التدريجي للأمام والخلف هي اختيار النموذج ذو أقل خطأ في التنبؤ، أو أدنى Cp، أو أدنى BIC، أو أعلى AIC منخفض، أو أعلى تعديل R ² .

فيما يلي الصيغ المستخدمة لحساب كل من هذه المقاييس:

Cp: (RSS+2dσ̂) / ن

AIC: (RSS+2dσ̂ ² ) / (nσ̂ ² )

BIC: (RSS+log(n)dσ̂ ² ) / n

R ² تم تعديلها: 1 – ( (RSS / (nd-1)) / (TSS / (n-1)) )

ذهب:

• د: عدد المتنبئين
• ن: إجمالي الملاحظات
• σ̂: تقدير تباين الخطأ المرتبط بكل مقياس استجابة في نموذج الانحدار
• RSS: مجموع المربعات المتبقية من نموذج الانحدار
• TSS: مجموع مربعات نموذج الانحدار

مزايا وعيوب الاختيار المرحلي

يوفر الاختيار المرحلي المزايا التالية:

تعد هذه الطريقة أكثر كفاءة من الناحية الحسابية من اختيار أفضل مجموعة فرعية. بالنظر إلى متغيرات التوقع p ، يجب أن يتوافق اختيار أفضل مجموعة فرعية مع نماذج 2 ^p .

وعلى العكس من ذلك، يجب أن يتناسب التحديد التدريجي مع النماذج 1+p(p+ 1)/2 فقط. بالنسبة إلى p = 10 متغيرات توقعية، يجب أن يتناسب اختيار أفضل مجموعة فرعية مع 1000 نموذج، بينما يجب أن يناسب الاختيار التدريجي 56 نموذجًا فقط.

ومع ذلك، فإن الاختيار المرحلي له العيوب المحتملة التالية:

ليس من المضمون العثور على أفضل نموذج ممكن من بين جميع نماذج ^2p المحتملة.

على سبيل المثال، لنفترض أن لدينا مجموعة بيانات تحتوي على تنبؤات p = 3. أفضل نموذج ممكن للمتنبئ الواحد قد يحتوي على x ₁ وأفضل نموذج ممكن للمتنبئين قد يحتوي على x ₁ وx ₂ بدلاً من ذلك.

في هذه الحالة، سيفشل التحديد التدريجي للأمام في تحديد أفضل نموذج ممكن للمتنبئين لأن M ₁ سيحتوي على x ₁ ، لذلك يجب أن يحتوي M ₂ أيضًا على x ₁ بالإضافة إلى متغير آخر.