Як порівняти дві криві roc (з прикладом)

Одним із способів візуалізації ефективності моделей класифікації в машинному навчанні є створення кривої ROC , яка розшифровується як «крива робочої характеристики приймача».

Цей тип кривої відображає чутливість і специфічність моделі класифікації:

• Чутливість: ймовірність того, що модель передбачає позитивний результат для спостереження, коли результат насправді позитивний.
• Специфічність: ймовірність того, що модель передбачає негативний результат для спостереження, коли результат насправді негативний.

Вісь х кривої ROC представляє (1- Специфічність) , а вісь ординат представляє Чутливість :

Чим ближче крива ROC підходить до верхнього лівого кута графіка, тим краще модель може класифікувати дані за категоріями.

Щоб визначити це кількісно, ми можемо обчислити AUC (площу під кривою), яка повідомляє нам, яка частина ділянки знаходиться під кривою.

Чим ближче AUC до 1, тим краща модель.

Порівнюючи дві криві ROC, щоб визначити, яка модель класифікації краща, ми часто дивимось, яка крива ROC «прилягає» ближче до верхнього лівого кута графіка і, отже, має вище значення AUC.

Приклад: як порівняти дві криві ROC

Припустімо, що ми адаптуємо модель логістичної регресії та градієнтну модель до набору даних, щоб передбачити результат змінної відповіді.

Припустімо, що ми створюємо криві ROC для візуалізації продуктивності кожної моделі:

Синя лінія показує криву ROC для моделі логістичної регресії, а помаранчева лінія показує криву ROC для моделі з посиленням градієнта.

З нашої діаграми ми можемо побачити такі значення AUC для кожної моделі:

• AUC моделі логістичної регресії: 0,7902
• AUC моделі з градієнтним посиленням: 0,9712

Оскільки покращена градієнтна модель має вище значення AUC, ми б сказали, що вона краще прогнозує результат змінної відповіді.

Примітка : у цьому прикладі ми лише порівняли дві криві ROC, але можна підібрати кілька різних моделей класифікації до набору даних і порівняти ще більше кривих ROC, щоб визначити найкращу модель для використання.

Додаткові ресурси

У наступних посібниках надається додаткова інформація про моделі класифікації та криві ROC:

Вступ до логістичної регресії
Як інтерпретувати криву ROC
Що вважається хорошим показником AUC?