Что такое «хорошо»? точность моделей машинного обучения?

При использовании моделей классификации в машинном обучении для оценки качества модели мы часто используем один показатель — точность .

Точность — это просто процент всех наблюдений, правильно классифицированных моделью.

Он рассчитывается следующим образом:

Точность = (количество истинно положительных результатов + количество истинно отрицательных результатов) / (общий размер выборки)

Студенты часто задают вопрос о точности:

Что считается «хорошим» значением точности модели машинного обучения?

Хотя точность модели может варьироваться от 0% до 100%, не существует универсального порога, который мы используем, чтобы определить, имеет ли модель «хорошую» точность или нет.

Вместо этого мы обычно сравниваем точность нашей модели с точностью эталонной модели.

Базовая модель просто предсказывает, что каждое наблюдение в наборе данных принадлежит к наиболее распространенному классу.

На практике любую модель классификации с более высокой точностью, чем эталонная модель, можно считать «полезной», но очевидно, что чем больше разница в точности между нашей моделью и эталонной моделью, тем лучше.

В следующем примере показано, как примерно определить, имеет ли модель классификации «хорошую» точность или нет.

Пример: определение «хорошей» точности модели

Предположим, мы используем модель логистической регрессии , чтобы спрогнозировать, будут ли 400 различных баскетболистов колледжей выбраны в НБА.

Следующая матрица путаницы суммирует прогнозы, сделанные моделью:

Вот как можно рассчитать точность этой модели:

• Точность = (количество истинно положительных результатов + количество истинно отрицательных результатов) / (общий размер выборки)
• Точность = (120 + 170) / (400)
• Точность = 0,725

Модель правильно предсказала исход для 72,5% игроков.

Чтобы получить представление о том, является ли точность «хорошей» или нет, мы можем рассчитать точность базовой модели.

В этом примере наиболее распространенным исходом для игроков было отсутствие драфта. В частности, 240 из 400 игроков остались незадрафтованными.

Базовая модель — это модель, которая просто предсказывает, что каждый игрок останется незадрафтованным.

Точность этой модели будет рассчитываться следующим образом:

• Точность = (количество истинно положительных результатов + количество истинно отрицательных результатов) / (общий размер выборки)
• Точность = (0 + 240) / (400)
• Точность = 0,6

Эта базовая модель правильно предскажет результат для 60% игроков.

В этом сценарии наша модель логистической регрессии обеспечивает заметное улучшение точности по сравнению с базовой моделью, поэтому мы считаем нашу модель как минимум «полезной».

На практике мы, скорее всего, подошли бы к нескольким различным моделям классификации и выбрали окончательную модель как ту, которая обеспечивает наибольший выигрыш в точности по сравнению с базовой моделью.

Меры предосторожности при использовании точности для оценки производительности модели

Точность — широко используемый показатель, поскольку его легко интерпретировать.

Например, если мы говорим, что точность модели составляет 90 %, мы знаем, что она правильно классифицировала 90 % наблюдений.

Однако точность не учитывает то, как распределяются данные.

Например, предположим, что 90% всех игроков не выбраны в НБА. Если бы у нас была модель, которая просто предсказывала бы, что каждый игрок останется незадрафтованным, она бы правильно предсказала результат для 90% игроков.

Это значение кажется высоким, но на самом деле модель не может правильно предсказать, какие игроки будут выбраны.

Часто используемая альтернативная метрика называется F1 Score , которая учитывает то, как распределяются данные.

Например, если данные сильно несбалансированы (например, 90% всех игроков не задрафтованы, а 10% — нет), то оценка F1 обеспечит лучшую оценку эффективности модели.

Узнайте больше о различиях между точностью и результатом F1 здесь .

Дополнительные ресурсы

В следующих руководствах представлена дополнительная информация о метриках, используемых в моделях классификации машинного обучения:

Что такое сбалансированная точность?
Что считается «хорошим» результатом в Формуле-1?