Come confrontare due curve roc (con esempio)

Un modo per visualizzare le prestazioni deimodelli di classificazione nell’apprendimento automatico è creare una curva ROC , che sta per curva “caratteristica operativa del ricevitore”.

Questo tipo di curva mostra la sensibilità e la specificità di un modello di classificazione:

• Sensibilità: probabilità che il modello preveda un risultato positivo per un’osservazione quando il risultato è effettivamente positivo.
• Specificità: probabilità che il modello preveda un risultato negativo per un’osservazione quando il risultato è effettivamente negativo.

L’ asse x di una curva ROC rappresenta (1-Specificità) e l’ asse y rappresenta la Sensibilità :

Quanto più la curva ROC si avvicina all’angolo superiore sinistro del grafico, tanto meglio il modello è in grado di classificare i dati in categorie.

Per quantificarlo, possiamo calcolare l’ AUC (area sotto la curva) che ci dice quanta parte del grafico si trova sotto la curva.

Più l’AUC è vicino a 1, migliore è il modello.

Quando si confrontano due curve ROC per determinare quale modello di classificazione è migliore, spesso osserviamo quale curva ROC “abbraccia” più da vicino l’angolo superiore sinistro del grafico e quindi ha un valore AUC più elevato.

Esempio: come confrontare due curve ROC

Supponiamo di adattare un modello di regressione logistica e un modello con gradiente migliorato a un set di dati per prevedere il risultato di una variabile di risposta.

Supponiamo quindi di creare curve ROC per visualizzare le prestazioni di ciascun modello:

La linea blu mostra la curva ROC per il modello di regressione logistica e la linea arancione mostra la curva ROC per il modello con gradiente potenziato.

Dal nostro grafico, possiamo vedere i seguenti valori AUC per ciascun modello:

• AUC del modello di regressione logistica: 0,7902
• AUC del modello potenziato con gradiente: 0,9712

Poiché il modello con gradiente migliorato ha un valore AUC più elevato, diremmo che prevede meglio il risultato della variabile di risposta.

Nota : in questo esempio abbiamo confrontato solo due curve ROC, ma è possibile adattare diversi modelli di classificazione a un set di dati e confrontare ancora più curve ROC per determinare il modello migliore da utilizzare.

Risorse addizionali

Le seguenti esercitazioni forniscono informazioni aggiuntive sui modelli di classificazione e sulle curve ROC:

Introduzione alla regressione logistica
Come interpretare una curva ROC
Cosa è considerato un buon punteggio AUC?