Как сравнить две кривые roc (с примером)

Один из способов визуализировать производительность моделей классификации в машинном обучении — создать кривую ROC , которая означает кривую «рабочей характеристики приемника».

Этот тип кривой отображает чувствительность и специфичность модели классификации:

• Чувствительность: вероятность того, что модель предсказывает положительный результат наблюдения, когда результат на самом деле положительный.
• Специфичность: вероятность того, что модель предсказывает отрицательный результат наблюдения, хотя на самом деле результат отрицательный.

Ось X кривой ROC представляет (1- Специфичность) , а ось Y представляет чувствительность :

Чем ближе кривая ROC соответствует верхнему левому углу графика, тем лучше модель способна классифицировать данные по категориям.

Чтобы количественно оценить это, мы можем рассчитать AUC (площадь под кривой), которая говорит нам, какая часть графика находится под кривой.

Чем ближе AUC к 1, тем лучше модель.

При сравнении двух кривых ROC, чтобы определить, какая модель классификации лучше, мы часто смотрим, какая кривая ROC «прилегает» ближе к левому верхнему углу графика и, следовательно, имеет более высокое значение AUC.

Пример: Как сравнить две кривые ROC

Предположим, мы подгоняем модель логистической регрессии и модель с градиентным усилением к набору данных, чтобы предсказать результат переменной ответа.

Предположим, мы затем создаем кривые ROC для визуализации производительности каждой модели:

Синяя линия показывает кривую ROC для модели логистической регрессии, а оранжевая линия показывает кривую ROC для модели с градиентным усилением.

На нашей диаграмме мы видим следующие значения AUC для каждой модели:

• AUC модели логистической регрессии: 0,7902.
• AUC модели с градиентным усилением: 0,9712.

Поскольку модель с улучшенным градиентом имеет более высокое значение AUC, мы бы сказали, что она лучше предсказывает результат переменной ответа.

Примечание . В этом примере мы сравнили только две кривые ROC, но можно подогнать к набору данных несколько различных моделей классификации и сравнить еще больше кривых ROC, чтобы определить лучшую модель для использования.

Дополнительные ресурсы

В следующих руководствах представлена дополнительная информация о моделях классификации и кривых ROC:

Введение в логистическую регрессию
Как интерпретировать кривую ROC
Что считается хорошим показателем AUC?