Como comparar duas curvas roc (com exemplo)

Uma forma de visualizar o desempenho dos modelos de classificação em aprendizado de máquina é criar uma curva ROC , que significa curva “característica operacional do receptor”.

Este tipo de curva exibe a sensibilidade e especificidade de um modelo de classificação:

• Sensibilidade: probabilidade de o modelo prever um resultado positivo para uma observação quando o resultado é realmente positivo.
• Especificidade: probabilidade de o modelo prever um resultado negativo para uma observação quando o resultado é realmente negativo.

O eixo x de uma curva ROC representa (1- Especificidade) e o eixo y representa Sensibilidade :

Quanto mais próxima a curva ROC estiver do canto superior esquerdo do gráfico, melhor o modelo será capaz de classificar os dados em categorias.

Para quantificar isso, podemos calcular a AUC (área sob a curva), que nos diz quanto do gráfico está sob a curva.

Quanto mais próximo o AUC estiver de 1, melhor será o modelo.

Ao comparar duas curvas ROC para determinar qual modelo de classificação é melhor, frequentemente observamos qual curva ROC “abraça” mais de perto o canto superior esquerdo do gráfico e, portanto, tem um valor de AUC mais alto.

Exemplo: Como comparar duas curvas ROC

Suponha que ajustemos um modelo de regressão logística e um modelo com gradiente aprimorado a um conjunto de dados para prever o resultado de uma variável de resposta.

Suponha que criemos curvas ROC para visualizar o desempenho de cada modelo:

A linha azul mostra a curva ROC para o modelo de regressão logística e a linha laranja mostra a curva ROC para o modelo gradiente reforçado.

Em nosso gráfico, podemos ver os seguintes valores de AUC para cada modelo:

• AUC do modelo de regressão logística: 0,7902
• AUC do modelo com gradiente reforçado: 0,9712

Como o modelo gradiente melhorado tem um valor de AUC mais alto, diríamos que ele prevê melhor o resultado da variável resposta.

Nota : Neste exemplo, comparamos apenas duas curvas ROC, mas é possível ajustar vários modelos de classificação diferentes a um conjunto de dados e comparar ainda mais curvas ROC para determinar o melhor modelo a ser usado.

Recursos adicionais

Os tutoriais a seguir fornecem informações adicionais sobre modelos de classificação e curvas ROC:

Introdução à regressão logística
Como interpretar uma curva ROC
O que é considerado uma boa pontuação AUC?