دليل بسيط للتحقق من صحة k-fold

لتقييم أداء نموذج ما على مجموعة بيانات، نحتاج إلى قياس مدى مطابقة التنبؤات التي قدمها النموذج مع البيانات المرصودة.

الطريقة الأكثر شيوعًا لقياس ذلك هي استخدام متوسط مربع الخطأ (MSE)، والذي يتم حسابه على النحو التالي:

MSE = (1/n)*Σ(y _i – f(x _i )) ²

ذهب:

• ن : العدد الإجمالي للملاحظات
• y _i : قيمة الاستجابة للملاحظة ^رقم
• f( _xi ): قيمة الاستجابة المتوقعة ^{للملاحظة} i

كلما كانت تنبؤات النموذج أقرب إلى الملاحظات، كلما انخفض MSE.

من الناحية العملية، نستخدم العملية التالية لحساب MSE لنموذج معين:

1. قم بتقسيم مجموعة البيانات إلى مجموعة تدريب ومجموعة اختبار.

2. قم بإنشاء النموذج باستخدام البيانات من مجموعة التدريب فقط.

3. استخدم النموذج لعمل تنبؤات حول مجموعة الاختبار وقياس MSE للاختبار.

يمنحنا اختبار MSE فكرة عن مدى جودة أداء النموذج على البيانات التي لم يراها من قبل. ومع ذلك، فإن عيب استخدام مجموعة اختبار واحدة هو أن اختبار MSE يمكن أن يختلف بشكل كبير اعتمادًا على الملاحظات المستخدمة في مجموعات التدريب والاختبار.

تتمثل إحدى طرق تجنب هذه المشكلة في ملاءمة النموذج عدة مرات باستخدام مجموعة تدريب واختبار مختلفة في كل مرة، ثم حساب اختبار MSE كمتوسط لجميع اختبار MSEs.

تُعرف هذه الطريقة العامة بالتحقق المتقاطع ويعرف شكل محدد منها بالتحقق المتقاطع k-fold .

التحقق من صحة K-Fold

يستخدم التحقق المتقاطع K-fold النهج التالي لتقييم النموذج:

الخطوة 1: قم بتقسيم مجموعة البيانات عشوائيًا إلى مجموعات k ، أو “طيات”، ذات حجم متساوٍ تقريبًا.

الخطوة 2: اختر إحدى الطيات لتكون مجموعة التثبيت الخاصة بك. اضبط القالب على طيات k-1 المتبقية. حساب اختبار MSE على الملاحظات في الطبقة التي تم شدها.

الخطوة 3: كرر هذه العملية عدة مرات، في كل مرة باستخدام مجموعة مختلفة كمجموعة الاستبعاد.

الخطوة 4: احسب إجمالي MSE للاختبار كمتوسط k MSE للاختبار.

اختبار MSE = (1/ك)*ΣMSE _ط

ذهب:

• ك: عدد الطيات
• MSE _i : اختبار MSE في التكرار ^الأول

كيفية اختيار ك

بشكل عام، كلما زاد عدد الطيات التي نستخدمها في التحقق من صحة k-fold، انخفض تحيز اختبار MSE ولكن زاد التباين. وعلى العكس من ذلك، كلما قل عدد الطيات التي نستخدمها، زاد الانحياز ولكن انخفض التباين. هذا مثال كلاسيكي على مقايضة التحيز والتباين في التعلم الآلي.

من الناحية العملية، نختار عمومًا استخدام ما بين 5 إلى 10 طبقات. كما هو مذكور في مقدمة للتعلم الإحصائي ، فقد تبين أن هذا العدد من الطيات يوفر توازنًا مثاليًا بين التحيز والتباين وبالتالي يوفر تقديرات موثوقة للحجم الصغير والصغير للاختبار:

لتلخيص ذلك، هناك مقايضة تباين متحيزة مرتبطة باختيار k في التحقق المتبادل من k-fold.

عادةً، في ضوء هذه الاعتبارات، يتم إجراء التحقق المتبادل من k-fold باستخدام k = 5 أو k = 10، حيث ثبت تجريبيًا أن هذه القيم تسفر عن تقديرات معدل خطأ الاختبار التي لا تعاني من انحياز مرتفع بشكل مفرط أو تباين عالٍ جدًا.

-صفحة 184، مقدمة للتعلم الإحصائي

فوائد التحقق من صحة K-Fold

عندما نقوم بتقسيم مجموعة بيانات إلى مجموعة تدريب واحدة ومجموعة اختبار واحدة، يمكن أن يختلف اختبار MSE المحسوب على الملاحظات في مجموعة الاختبار بشكل كبير اعتمادًا على الملاحظات المستخدمة في مجموعات التدريب والاختبار.

باستخدام التحقق المتقاطع k-fold، نحن قادرون على حساب اختبار MSE باستخدام العديد من الأشكال المختلفة لمجموعات التدريب والاختبار. وهذا يمنحنا فرصة أكبر بكثير للحصول على تقدير غير متحيز لحجم الاختبار الصغير والصغير.

يوفر التحقق من الصحة عبر K-fold أيضًا ميزة حسابية على التحقق من صحة المغادرة مرة واحدة (LOOCV) لأنه يجب أن يناسب النموذج k مرات فقط بدلاً من n مرات.

بالنسبة للنماذج التي تستغرق وقتًا طويلاً لملاءمتها، يمكن للتحقق من الصحة المتقاطع k-fold حساب اختبار MSE بشكل أسرع بكثير من LOOCV وفي كثير من الحالات، سيكون اختبار MSE المحسوب بواسطة كل طريقة متشابهًا تمامًا إذا كنت تستخدم عددًا كافيًا من الطيات.

ملحقات التحقق من الصحة المتقاطعة على شكل K

هناك عدة امتدادات للتحقق المتقاطع k-fold، بما في ذلك:

التحقق المتبادل المتكرر على شكل k-fold: هذا هو المكان الذي يتم فيه تكرار التحقق من الصحة على شكل k-fold ببساطة n مرات. عندما يتم خلط مجموعات التدريب والاختبار، فإن هذا يقلل بشكل أكبر من التحيز في تقدير اختبار MSE، على الرغم من أن هذا يستغرق وقتًا أطول لإكماله من التحقق المتبادل العادي k-fold.

التحقق من صحة الإجازة لمرة واحدة: هذه حالة خاصة للتحقق من صحة k-fold حيث k = n . يمكنك معرفة المزيد عن هذه الطريقة هنا .

التحقق المتبادل الطبقي k-fold: هذه نسخة من التحقق المتبادل k-fold حيث يتم إعادة ترتيب مجموعة البيانات بطريقة تمثل كل طية المجموعة بأكملها. كما لاحظ كوهافي ، تميل هذه الطريقة إلى تقديم مفاضلة أفضل بين التحيز والتباين مقارنةً بالتحقق المتبادل العادي k-fold.

التحقق المتبادل المتداخل: هذا هو المكان الذي يتم فيه إجراء التحقق المتبادل من k-fold في كل أضعاف التحقق من الصحة. يُستخدم هذا غالبًا لإجراء ضبط المعلمة الفائقة أثناء تقييم النموذج.