Що вважається «добрим»? оцінка f1?

Під час використання моделей класифікації в машинному навчанні загальним показником, який ми використовуємо для оцінки якості моделі, є бал F1 .

Цей показник обчислюється таким чином:

Оцінка F1 = 2 * (точність * пригадування) / (точність + пригадування)

золото:

• Точність : правильні позитивні прогнози відносно загальної кількості позитивних прогнозів
• Нагадування : виправлення позитивних прогнозів проти загальних фактичних позитивних результатів

Наприклад, припустімо, що ми використовуємо модель логістичної регресії, щоб передбачити, чи будуть 400 різних студентських баскетболістів задрафтовані до НБА.

Наступна матриця плутанини узагальнює прогнози, зроблені моделлю:

Ось як розрахувати оцінку F1 моделі:

Точність = Справжній позитивний / (Справжній позитивний + Хибний позитивний) = 120/ (120+70) = 0,63157

Відкликання = Істинний позитивний / (Істинний позитивний + Хибно негативний) = 120 / (120+40) = 0,75

Оцінка F1 = 2 * (0,63157 * 0,75) / (0,63157 + 0,75) = . 6857

Що таке хороша оцінка F1?

Студенти часто задають таке запитання:

Що таке хороший результат у F1?

Простіше кажучи, вищі оцінки F1, як правило, кращі.

Пам’ятайте, що показники F1 можуть коливатися від 0 до 1, де 1 означає модель, яка ідеально класифікує кожне спостереження до правильного класу, а 0 означає модель, яка не може класифікувати спостереження до правильного класу.

Щоб проілюструвати це, припустімо, що ми маємо модель логістичної регресії, яка створює таку матрицю плутанини:

Ось як розрахувати оцінку F1 моделі:

Точність = Справжній позитивний / (Справжній позитивний + Хибний позитивний) = 240/ (240+0) = 1

Відкликання = Істинний позитивний / (Істинний позитивний + Хибно негативний) = 240 / (240+0) = 1

Оцінка F1 = 2 * (1 * 1) / (1 + 1) = 1

Оцінка F1 дорівнює одиниці, оскільки вона здатна ідеально класифікувати кожне з 400 спостережень у клас.

Тепер розглянемо іншу модель логістичної регресії, яка просто передбачає, що кожен гравець буде обраний:

Ось як розрахувати оцінку F1 моделі:

Точність = Справжній позитивний / (Справжній позитивний + Хибний позитивний) = 160/ (160+240) = 0,4

Відкликання = Істинний позитивний / (Істинний позитивний + Хибно негативний) = 160 / (160+0) = 1

Оцінка F1 = 2 * (0,4 * 1) / (0,4 + 1) = 0,5714

Це буде вважатися базовою моделлю , з якою ми могли б порівняти нашу модель логістичної регресії, оскільки вона представляє модель, яка робить той самий прогноз для кожного спостереження в наборі даних.

Чим вище наша оцінка F1 порівняно з еталонною моделлю, тим кориснішою є наша модель.

Нагадаємо, раніше наша модель мала оцінку F1 0,6857 . Це не набагато вище за 0,5714 , що вказує на те, що наша модель корисніша за базову, але ненабагато.

Про порівняння результатів F1

На практиці ми зазвичай використовуємо такий процес, щоб вибрати «найкращу» модель для проблеми класифікації:

Крок 1. Підберіть еталонну модель, яка дає однаковий прогноз для кожного спостереження.

Крок 2: Підберіть кілька різних моделей класифікації та обчисліть оцінку F1 для кожної моделі.

Крок 3: Виберіть модель з найвищим показником F1 як «найкращу» модель, переконавшись, що вона дає вищу оцінку F1, ніж еталонна модель.

Жодне конкретне значення не вважається «хорошим» балом F1, тому ми зазвичай обираємо модель класифікації, яка дає найвищий бал F1.

Додаткові ресурси

Оцінка Формули 1 проти точності: що слід використовувати?
Як розрахувати бал F1 у R
Як обчислити бал F1 у Python