ما الذي يعتبر "جيدا"؟ نتيجة f1؟

عند استخدام نماذج التصنيف في التعلم الآلي، فإن المقياس الشائع الذي نستخدمه لتقييم جودة النموذج هو درجة F1 .

يتم حساب هذا المقياس على النحو التالي:

نتيجة F1 = 2 * (الدقة * الاستدعاء) / (الدقة + الاستدعاء)

ذهب:

• الدقة : تصحيح التنبؤات الإيجابية مقارنة بإجمالي التوقعات الإيجابية
• تذكير : تصحيح التوقعات الإيجابية مقابل مجموع الإيجابيات الفعلية

على سبيل المثال، لنفترض أننا نستخدم نموذج الانحدار اللوجستي للتنبؤ بما إذا كان سيتم ضم 400 لاعب كرة سلة جامعي مختلف إلى الدوري الاميركي للمحترفين أم لا.

تلخص مصفوفة الارتباك التالية التنبؤات التي قدمها النموذج:

فيما يلي كيفية حساب درجة F1 للنموذج:

الدقة = إيجابية حقيقية / (إيجابية حقيقية + إيجابية كاذبة) = 120/ (120+70) = 0.63157

الاستدعاء = إيجابي حقيقي / (إيجابي حقيقي + سلبي كاذب) = 120 / (120+40) = 0.75

نتيجة F1 = 2 * (.63157 * .75) / (.63157 + .75) = . 6857

ما هي نتيجة F1 الجيدة؟

السؤال الذي يطرحه الطلاب غالبًا هو:

ما هي النتيجة الجيدة في F1؟

ببساطة، تكون درجات الفورمولا 1 الأعلى أفضل بشكل عام.

تذكر أن درجات F1 يمكن أن تتراوح من 0 إلى 1، حيث يمثل 1 نموذجًا يصنف بشكل مثالي كل ملاحظة في الفئة الصحيحة ويمثل 0 نموذجًا غير قادر على تصنيف ملاحظة في الفئة الصحيحة.

لتوضيح ذلك، لنفترض أن لدينا نموذج الانحدار اللوجستي الذي ينتج مصفوفة الارتباك التالية:

فيما يلي كيفية حساب درجة F1 للنموذج:

الدقة = إيجابية حقيقية / (إيجابية حقيقية + إيجابية كاذبة) = 240/ (240+0) = 1

الاستدعاء = إيجابي حقيقي / (إيجابي حقيقي + سلبي كاذب) = 240 / (240+0) = 1

نتيجة F1 = 2 * (1 * 1) / (1 + 1) = 1

درجة F1 تساوي واحدة لأنها قادرة على تصنيف كل ملاحظة من الملاحظات الـ 400 بشكل مثالي في الفصل الدراسي.

الآن فكر في نموذج انحدار لوجستي آخر يتنبأ ببساطة بأنه سيتم تجنيد كل لاعب:

فيما يلي كيفية حساب درجة F1 للنموذج:

الدقة = إيجابية حقيقية / (إيجابية حقيقية + إيجابية كاذبة) = 160/ (160+240) = 0.4

الاستدعاء = إيجابي حقيقي / (إيجابي حقيقي + سلبي كاذب) = 160 / (160+0) = 1

نتيجة F1 = 2 * (.4 * 1) / (.4 + 1) = 0.5714

سيعتبر هذا نموذجًا أساسيًا يمكننا مقارنة نموذج الانحدار اللوجستي به لأنه يمثل نموذجًا يقوم بنفس التنبؤ لكل ملاحظة في مجموعة البيانات.

كلما ارتفعت درجة F1 لدينا مقارنة بالنموذج المرجعي، كلما كان نموذجنا أكثر فائدة.

تذكر من قبل أن نموذجنا حصل على درجة F1 تبلغ 0.6857 . وهذا ليس أعلى بكثير من 0.5714 ، مما يشير إلى أن نموذجنا أكثر فائدة من النموذج الأساسي، ولكن ليس كثيرًا.

عند مقارنة درجات F1

من الناحية العملية، نستخدم عادةً العملية التالية لاختيار النموذج “الأفضل” لمشكلة التصنيف:

الخطوة 1: قم بتركيب نموذج مرجعي يقوم بنفس التنبؤ لكل ملاحظة.

الخطوة 2: قم بتركيب عدة نماذج تصنيف مختلفة وحساب درجة F1 لكل نموذج.

الخطوة 3: اختر النموذج الحاصل على أعلى درجة F1 باعتباره النموذج “الأفضل”، والتحقق من أنه ينتج درجة F1 أعلى من النموذج المرجعي.

لا توجد قيمة محددة تعتبر درجة F1 “جيدة”، لذلك نختار عمومًا نموذج التصنيف الذي ينتج أعلى درجة F1.

مصادر إضافية

نقاط F1 مقابل الدقة: ما الذي يجب عليك استخدامه؟
كيفية حساب درجة F1 في R
كيفية حساب درجة F1 في بايثون