Comment comparer deux courbes ROC (avec exemple)

Une façon de visualiser les performances des modèles de classification dans l’apprentissage automatique consiste à créer une courbe ROC , qui signifie courbe « caractéristique de fonctionnement du récepteur ».

Ce type de courbe affiche la sensibilité et la spécificité d’un modèle de classification :

• Sensibilité : probabilité que le modèle prédise un résultat positif pour une observation alors que le résultat est effectivement positif.
• Spécificité : probabilité que le modèle prédise un résultat négatif pour une observation alors que le résultat est effectivement négatif.

L’ axe des x d’une courbe ROC représente (1- Spécificité) et l’ axe des y représente la Sensibilité :

Plus la courbe ROC épouse le coin supérieur gauche du tracé, plus le modèle parvient à classer les données en catégories.

Pour quantifier cela, nous pouvons calculer l’ AUC (aire sous la courbe) qui nous indique quelle partie de la parcelle est située sous la courbe.

Plus l’AUC est proche de 1, meilleur est le modèle.

Lorsque nous comparons deux courbes ROC pour déterminer quel modèle de classification est le meilleur, nous examinons souvent quelle courbe ROC « épouse » le plus le coin supérieur gauche du tracé et a donc une valeur d’AUC plus élevée.

Exemple : Comment comparer deux courbes ROC

Supposons que nous adaptions un modèle de régression logistique et un modèle amélioré par gradient à un ensemble de données pour prédire le résultat d’une variable de réponse.

Supposons que nous créions ensuite des courbes ROC pour visualiser les performances de chaque modèle :

La ligne bleue montre la courbe ROC pour le modèle de régression logistique et la ligne orange montre la courbe ROC pour le modèle boosté par gradient.

À partir de notre graphique, nous pouvons voir les valeurs AUC suivantes pour chaque modèle :

• AUC du modèle de régression logistique : 0,7902
• AUC du modèle boosté par gradient : 0,9712

Étant donné que le modèle amélioré par gradient a une valeur d’AUC plus élevée, nous dirions qu’il prédit mieux le résultat de la variable de réponse.

Remarque : Dans cet exemple, nous n’avons comparé que deux courbes ROC, mais il est possible d’adapter plusieurs modèles de classification différents à un ensemble de données et de comparer encore plus de courbes ROC pour déterminer le meilleur modèle à utiliser.

Ressources additionnelles

Les didacticiels suivants fournissent des informations supplémentaires sur les modèles de classification et les courbes ROC :

Introduction à la régression logistique
Comment interpréter une courbe ROC
Qu’est-ce qui est considéré comme un bon score d’ASC ?