أفضل اختيار مجموعة فرعية في التعلم الآلي (الشرح والأمثلة)
في التعلم الآلي، غالبًا ما نرغب في بناء نماذج باستخدام مجموعة من المتغيرات المتوقعة ومتغير الاستجابة . هدفنا هو بناء نموذج يمكنه استخدام متغيرات التوقع بشكل فعال للتنبؤ بقيمة متغير الاستجابة.
بالنظر إلى مجموعة من المتغيرات التوقعية الإجمالية ، هناك العديد من النماذج التي يمكننا بناءها. تُعرف إحدى الطرق التي يمكننا استخدامها لاختيار أفضل نموذج باسم اختيار أفضل مجموعة فرعية وتعمل على النحو التالي:
1. اجعل M 0 هو النموذج الفارغ، الذي لا يحتوي على متغير تنبؤي.
2. بالنسبة لـ k = 1، 2، … p:
- تناسب جميع نماذج p C k التي تحتوي على تنبؤات k بالضبط.
- اختر الأفضل من بين نماذج pCk وأطلق عليه اسم Mk . حدد “الأفضل” باعتباره النموذج الذي يحتوي على أعلى R 2 أو، على نحو مكافئ، أدنى RSS.
3. اختر أفضل نموذج منفرد من M 0 … M p باستخدام خطأ التنبؤ بالتحقق المتبادل، Cp، BIC، AIC أو R 2 المعدلة.
لاحظ أنه بالنسبة لمجموعة من متغيرات التوقع p ، هناك نموذجين ممكنين .
مثال لاختيار أفضل مجموعة فرعية
لنفترض أن لدينا مجموعة بيانات تحتوي على p = 3 متغيرات متوقعة ومتغير استجابة، y. لإجراء أفضل اختيار لمجموعة فرعية باستخدام مجموعة البيانات هذه، سنلائم النماذج التالية 2 p = 2 3 = 8:
- نموذج بدون تنبؤات
- نموذج مع توقع × 1
- نموذج مع توقع × 2
- نموذج مع توقع × 3
- نموذج مع تنبؤات x 1 و x 2
- نموذج مع المتنبئين x 1 , x 3
- نموذج يحتوي على تنبؤات x 2 و x 3
- نموذج مع المتنبئين x 1 , x 2 , x 3
ثم نختار النموذج ذو أعلى R2 من كل مجموعة من النماذج ذات المتنبئات k . على سبيل المثال، قد ينتهي بنا الأمر إلى اختيار:
- نموذج بدون تنبؤات
- نموذج مع توقع × 2
- نموذج مع تنبؤات x 1 و x 2
- نموذج مع المتنبئين x 1 , x 2 , x 3
ثم نقوم بالتحقق المتبادل واختيار أفضل نموذج باعتباره النموذج الذي ينتج عنه أقل خطأ في التنبؤ، أو Cp، أو BIC، أو AIC، أو R2 المعدل.
على سبيل المثال، قد ينتهي بنا الأمر إلى اختيار النموذج التالي باعتباره النموذج “الأفضل” لأنه أنتج أقل خطأ في التنبؤ تم التحقق من صحته:
- نموذج مع تنبؤات x 1 و x 2
معايير اختيار النموذج “الأفضل”.
الخطوة الأخيرة في اختيار أفضل مجموعة فرعية هي اختيار النموذج الذي يحتوي على أقل خطأ في التنبؤ، أو أقل Cp، أو أدنى BIC، أو أدنى AIC، أو R2 الأقل تعديلًا. أعلى.
فيما يلي الصيغ المستخدمة لحساب كل من هذه المقاييس:
Cp: (RSS+2dσ̂) / ن
AIC: (RSS+2dσ̂ 2 ) / (nσ̂ 2 )
BIC: (RSS+log(n)dσ̂ 2 ) / n
R 2 تم تعديلها: 1 – ( (RSS / (nd-1)) / (TSS / (n-1)) )
ذهب:
- د: عدد المتنبئين
- ن: إجمالي الملاحظات
- σ̂: تقدير تباين الخطأ المرتبط بكل مقياس استجابة في نموذج الانحدار
- RSS: مجموع المربعات المتبقية من نموذج الانحدار
- TSS: مجموع مربعات نموذج الانحدار
مزايا وعيوب اختيار أفضل مجموعة فرعية
يوفر اختيار أفضل مجموعة فرعية الفوائد التالية:
- إنها طريقة بسيطة للفهم والتفسير.
- يتيح لنا ذلك تحديد أفضل نموذج ممكن نظرًا لأننا نأخذ في الاعتبار جميع مجموعات المتغيرات المتوقعة.
ومع ذلك، فإن هذه الطريقة لها العيوب التالية:
- يمكن أن يكون هذا مكثفًا من الناحية الحسابية. بالنسبة لمجموعة من المتغيرات التوقعية p ، هناك نموذجين ممكنين . على سبيل المثال، مع وجود 10 متغيرات متوقعة، هناك 2 10 = 1000 نموذج محتمل يجب أخذه في الاعتبار.
- ونظرًا لأنه يأخذ في الاعتبار عددًا كبيرًا جدًا من النماذج، فمن المحتمل أن يجد نموذجًا يؤدي أداءً جيدًا في بيانات التدريب ولكن ليس في البيانات المستقبلية. قد يؤدي هذا إلى الإفراط في التجهيز .
خاتمة
على الرغم من أن اختيار أفضل مجموعة فرعية أمر سهل التنفيذ والفهم، إلا أنه قد يكون غير عملي إذا كنت تعمل مع مجموعة بيانات تحتوي على عدد كبير من المتنبئات ومن المحتمل أن يؤدي ذلك إلى التجهيز الزائد.
يُعرف البديل لهذه الطريقة بالاختيار التدريجي ، وهو أكثر كفاءة من الناحية الحسابية.
About Author
دكتور بنيامين أندرسون
مرحبًا، أنا بنجامين، أستاذ الإحصاء المتقاعد الذي تحول إلى مدرس متخصص في Statorials. بفضل خبرتي الواسعة في مجال الإحصاء، فأنا حريص على مشاركة معرفتي لتمكين الطلاب من خلال Statorials. تعرف أكثر