Що таке «добро»? точність моделей машинного навчання?

Використовуючи моделі класифікації в машинному навчанні, одним із показників, який ми часто використовуємо для оцінки якості моделі, є точність .

Точність – це просто відсоток усіх спостережень, правильно класифікованих моделлю.

Він розраховується таким чином:

Точність = (# істинно позитивних + # істинно негативних) / (загальний розмір вибірки)

Студенти часто задають питання щодо точності:

Що вважається «хорошим» значенням для точності моделі машинного навчання?

Хоча точність моделі може коливатися від 0% до 100%, не існує універсального порогу, який ми використовуємо, щоб визначити, чи має модель «хорошу» точність чи ні.

Натомість ми зазвичай порівнюємо точність нашої моделі з точністю еталонної моделі.

Базова модель просто передбачає, що кожне спостереження в наборі даних належить до найпоширенішого класу.

На практиці будь-яка модель класифікації з вищою точністю, ніж еталонна модель, може вважатися «корисною», але очевидно, що чим більша різниця в точності між нашою моделлю та еталонною моделлю, тим краще.

У наступному прикладі показано, як приблизно визначити, чи має модель класифікації «хорошу» точність чи ні.

Приклад: визначення «хорошої» точності моделі

Припустімо, що ми використовуємо логістичну регресійну модель , щоб передбачити, чи будуть 400 різних студентських баскетболістів задрафтовані до НБА.

Наступна матриця плутанини узагальнює прогнози, зроблені моделлю:

Ось як розрахувати точність цієї моделі:

• Точність = (# істинно позитивних + # істинно негативних) / (загальний розмір вибірки)
• Точність = (120 + 170) / (400)
• Точність = 0,725

Модель правильно передбачила результат для 72,5% гравців.

Щоб отримати уявлення про те, чи є точність «хорошою» чи ні, ми можемо обчислити точність базової моделі.

У цьому прикладі найпоширенішим результатом для гравців було те, що вони залишилися без драфту. Зокрема, 240 із 400 гравців залишилися недрафтованими.

Базовою моделлю буде така, яка просто передбачає, що кожен гравець залишиться без драфту.

Точність цієї моделі буде розрахована таким чином:

• Точність = (# істинно позитивних + # істинно негативних) / (загальний розмір вибірки)
• Точність = (0 + 240) / (400)
• Точність = 0,6

Ця базова модель правильно передбачила б результат для 60% гравців.

У цьому сценарії наша модель логістичної регресії забезпечує помітне підвищення точності порівняно з базовою моделлю, тому ми вважаємо нашу модель принаймні «корисною».

На практиці ми, ймовірно, підберемо кілька різних моделей класифікації та виберемо остаточну модель як ту, яка забезпечує найбільший виграш у точності порівняно з базовою моделлю.

Застереження щодо використання точності для оцінки ефективності моделі

Точність є загальновживаним показником, оскільки його легко інтерпретувати.

Наприклад, якщо ми кажемо, що модель точна на 90%, ми знаємо, що вона правильно класифікувала 90% спостережень.

Однак точність не враховує, як розподіляються дані.

Наприклад, припустимо, що 90% усіх гравців не задрафтовані до НБА. Якби у нас була модель, яка просто передбачала, що кожен гравець залишиться без драфту, модель правильно передбачила б результат для 90% гравців.

Це значення здається високим, але насправді модель не може правильно передбачити, які гравці будуть задрафтовані.

Часто використовуваний альтернативний показник називається F1 Score , який враховує, як розподіляються дані.

Наприклад, якщо дані дуже незбалансовані (наприклад, 90% усіх гравців не зараховані, а 10% є), тоді оцінка F1 забезпечить кращу оцінку ефективності моделі.

Дізнайтеся більше про відмінності між точністю та результатом F1 тут .

Додаткові ресурси

У наступних посібниках надається додаткова інформація про показники, які використовуються в моделях класифікації машинного навчання:

Що таке збалансована точність?
Що вважається «хорошим» результатом F1?