التحقق من صحة المغادرة مرة واحدة في r (مع أمثلة)

لتقييم أداء نموذج ما على مجموعة بيانات، نحتاج إلى قياس مدى مطابقة التنبؤات التي قدمها النموذج مع البيانات المرصودة.

تُعرف إحدى الطرق المستخدمة بشكل شائع للقيام بذلك باسم “التحقق من صحة المغادرة لمرة واحدة” (LOOCV) ، والتي تستخدم الطريقة التالية:

1. قم بتقسيم مجموعة البيانات إلى مجموعة تدريب ومجموعة اختبار، باستخدام جميع الملاحظات باستثناء ملاحظة واحدة كجزء من مجموعة التدريب.

2. قم بإنشاء نموذج باستخدام البيانات من مجموعة التدريب فقط.

3. استخدم النموذج للتنبؤ بقيمة استجابة الملاحظة المستبعدة من النموذج وحساب متوسط مربع الخطأ (MSE).

4. كرر هذه العملية مرات . احسب اختبار MSE كمتوسط لجميع اختبار MSEs.

أسهل طريقة لتشغيل LOOCV في R هي استخدام الدالة TrainControl() من مكتبة علامة الإقحام في R.

يقدم هذا البرنامج التعليمي مثالاً سريعًا لكيفية استخدام هذه الوظيفة لتنفيذ LOOCV لنموذج معين في R.

مثال: التحقق من صحة الإجازة لمرة واحدة في R

لنفترض أن لدينا مجموعة البيانات التالية في R:

 #create data frame
df <- data.frame(y=c(6, 8, 12, 14, 14, 15, 17, 22, 24, 23),
                 x1=c(2, 5, 4, 3, 4, 6, 7, 5, 8, 9),
                 x2=c(14, 12, 12, 13, 7, 8, 7, 4, 6, 5))

#view data frame
df

y x1 x2
6 2 14
8 5 12
12 4 12
14 3 13
14 4 7
15 6 8
17 7 7
22 5 4
24 8 6
23 9 5

يوضح التعليمة البرمجية التالية كيفية ملاءمة نموذج الانحدار الخطي المتعدد لمجموعة البيانات هذه في R وتنفيذ LOOCV لتقييم أداء النموذج:

 library (caret)

#specify the cross-validation method
ctrl <- trainControl(method = " LOOCV ")

#fit a regression model and use LOOCV to evaluate performance
model <- train(y ~ x1 + x2, data = df, method = " lm ", trControl = ctrl)

#view summary of LOOCV               
print(model)

Linear Regression 

10 samples
 2 predictors

No pre-processing
Resampling: Leave-One-Out Cross-Validation 
Summary of sample sizes: 9, 9, 9, 9, 9, 9, ... 
Resampling results:

  RMSE Rsquared MAE     
  3.619456 0.6186766 3.146155

Tuning parameter 'intercept' was held constant at a value of TRUE

وإليك كيفية تفسير النتيجة:

• تم استخدام 10 عينات مختلفة لبناء 10 نماذج. استخدم كل نموذج متغيرين متوقعين.
• لم تتم المعالجة المسبقة. أي أننا لم نقم بقياس البيانات بأي شكل من الأشكال قبل ملاءمة النماذج.
• كانت طريقة إعادة التشكيل التي استخدمناها لإنشاء العينات العشرة هي التحقق من صحة الإجازة الواحدة.
• وكان حجم العينة لكل مجموعة تدريبية 9.
• RMSE: جذر متوسط مربع الخطأ. يقيس هذا متوسط الفرق بين التنبؤات التي قدمها النموذج والملاحظات الفعلية. كلما انخفض مؤشر RMSE، زادت دقة النموذج في التنبؤ بالملاحظات الفعلية.
• Rsquared: هذا مقياس للارتباط بين التنبؤات التي قدمها النموذج والملاحظات الفعلية. كلما ارتفع مربع R، زادت دقة النموذج في التنبؤ بالملاحظات الفعلية.
• MAE: متوسط الخطأ المطلق. هذا هو متوسط الفرق المطلق بين التنبؤات التي قدمها النموذج والملاحظات الفعلية. كلما انخفض MAE، زادت دقة النموذج في التنبؤ بالملاحظات الفعلية.

كل قياس من القياسات الثلاثة المقدمة في النتيجة (RMSE وR-squared وMAE) يعطينا فكرة عن أداء النموذج على البيانات غير المنشورة.

من الناحية العملية، نحن عادةً نلائم عدة نماذج مختلفة ونقارن المقاييس الثلاثة التي توفرها النتائج المعروضة هنا لتحديد النموذج الذي ينتج أقل معدلات خطأ في الاختبار وبالتالي فهو أفضل نموذج للاستخدام.