مقدمة سريعة عن التحقق من صحة المغادرة لمرة واحدة (loocv)

لتقييم أداء نموذج ما على مجموعة بيانات، نحتاج إلى قياس مدى مطابقة التنبؤات التي قدمها النموذج مع البيانات المرصودة.

الطريقة الأكثر شيوعًا لقياس ذلك هي استخدام متوسط مربع الخطأ (MSE)، والذي يتم حسابه على النحو التالي:

MSE = (1/n)*Σ(y _i – f(x _i )) ²

ذهب:

• ن : العدد الإجمالي للملاحظات
• y _i : قيمة الاستجابة للملاحظة ^رقم
• f( _xi ): قيمة الاستجابة المتوقعة ^{للملاحظة} i

كلما كانت تنبؤات النموذج أقرب إلى الملاحظات، كلما انخفض MSE.

من الناحية العملية، نستخدم العملية التالية لحساب MSE لنموذج معين:

1. قم بتقسيم مجموعة البيانات إلى مجموعة تدريب ومجموعة اختبار.

2. قم بإنشاء النموذج باستخدام البيانات من مجموعة التدريب فقط.

3. استخدم النموذج لعمل تنبؤات حول مجموعة الاختبار وقياس MSE – وهذا ما يسمى اختبار MSE .

يمنحنا اختبار MSE فكرة عن مدى جودة أداء النموذج على البيانات التي لم يراها من قبل، أي البيانات التي لم يتم استخدامها “لتدريب” النموذج.

ومع ذلك، فإن عيب استخدام مجموعة اختبار واحدة هو أن اختبار MSE يمكن أن يختلف بشكل كبير اعتمادًا على الملاحظات المستخدمة في مجموعات التدريب والاختبار.

من الممكن أنه إذا استخدمنا مجموعة مختلفة من الملاحظات لمجموعة التدريب ومجموعة الاختبار، فقد يتحول اختبار MSE الخاص بنا إلى أكبر أو أصغر بكثير.

تتمثل إحدى طرق تجنب هذه المشكلة في ملاءمة النموذج عدة مرات باستخدام مجموعة تدريب واختبار مختلفة في كل مرة، ثم حساب اختبار MSE كمتوسط لجميع اختبار MSEs.

تُعرف هذه الطريقة العامة باسم التحقق المتبادل، ويُعرف شكل محدد منها باسم التحقق المتبادل للمغادرة مرة واحدة .

التحقق من صحة الإجازة لمرة واحدة

يستخدم التحقق من صحة الإجازة لمرة واحدة الأسلوب التالي لتقييم النموذج:

1. قم بتقسيم مجموعة البيانات إلى مجموعة تدريب ومجموعة اختبار، باستخدام جميع الملاحظات باستثناء ملاحظة واحدة كجزء من مجموعة التدريب:

لاحظ أننا نترك ملاحظة واحدة فقط “خارج” مجموعة التدريب. هذا هو المكان الذي تحصل فيه الطريقة على اسم التحقق المتبادل “ترك مرة واحدة”.

2. قم بإنشاء النموذج باستخدام البيانات من مجموعة التدريب فقط.

3. استخدم النموذج للتنبؤ بقيمة الاستجابة للملاحظة الفردية المستبعدة من النموذج وحساب MSE.

4. كرر العملية مرات .

أخيرًا، نكرر هذه العملية n مرات (حيث n هو العدد الإجمالي للملاحظات في مجموعة البيانات)، مع ترك ملاحظة مختلفة من مجموعة التدريب في كل مرة.

نقوم بعد ذلك بحساب اختبار MSE كمتوسط لجميع اختبار MSEs:

اختبار MSE = (1/n)*ΣMSE _i

ذهب:

• n: إجمالي عدد الملاحظات في مجموعة البيانات
• MSEi: اختبار MSE خلال فترة تركيب ^{النموذج} .

مزايا وعيوب LOOCV

يوفر التحقق من صحة الإجازة لمرة واحدة الفوائد التالية:

• فهو يوفر مقياسًا أقل انحيازًا لاختبار MSE مقارنة باستخدام مجموعة اختبار واحدة، لأننا نلائم النموذج بشكل متكرر مع مجموعة بيانات تحتوي على ملاحظات n-1 .
• لا يميل إلى المبالغة في تقدير MSE للاختبار مقارنة باستخدام مجموعة اختبار واحدة.

ومع ذلك، فإن التحقق من صحة عدم التدخل له العيوب التالية:

• يمكن أن يستغرق استخدام هذه العملية وقتًا طويلاً عندما يكون n كبيرًا.
• قد يستغرق الأمر وقتًا طويلاً أيضًا إذا كان النموذج معقدًا بشكل خاص ويستغرق وقتًا طويلاً لملاءمة مجموعة البيانات.
• يمكن أن يكون هذا مكلفًا من الناحية الحسابية.

ولحسن الحظ، أصبحت الحوسبة الحديثة فعالة جدًا في معظم المجالات، مما جعل استخدام LOOCV أكثر منطقية مما كان عليه قبل سنوات عديدة.

لاحظ أنه يمكن أيضًا استخدام LOOCV في سياقات الانحدار والتصنيف . بالنسبة لمشاكل الانحدار، فإنه يحسب اختبار MSE باعتباره جذر متوسط مربع الفرق بين التنبؤات والملاحظات، بينما في مشاكل التصنيف يحسب اختبار MSE كنسبة مئوية من الملاحظات المصنفة بشكل صحيح على التعديلات المتكررة للنموذج.

كيفية تشغيل LOOCV في R & Python

توفر البرامج التعليمية التالية أمثلة خطوة بخطوة حول كيفية تشغيل LOOCV لنموذج معين في R وPython:

التحقق من صحة الإجازة الواحدة في R
التحقق من صحة المغادرة لمرة واحدة في بيثون