So vergleichen sie zwei roc-kurven (mit beispiel)

Eine Möglichkeit, die Leistung von Klassifizierungsmodellen beim maschinellen Lernen zu visualisieren, besteht darin, eine ROC-Kurve zu erstellen, die für „Receiver Operating Characteristic“-Kurve steht.

Dieser Kurventyp zeigt die Sensitivität und Spezifität eines Klassifizierungsmodells:

• Sensitivität: Wahrscheinlichkeit, dass das Modell ein positives Ergebnis für eine Beobachtung vorhersagt, obwohl das Ergebnis tatsächlich positiv ist.
• Spezifität: Wahrscheinlichkeit, dass das Modell ein negatives Ergebnis für eine Beobachtung vorhersagt, obwohl das Ergebnis tatsächlich negativ ist.

Die x-Achse einer ROC-Kurve stellt (1- Spezifität) und die y-Achse die Sensitivität dar:

Je näher die ROC-Kurve an der oberen linken Ecke des Diagramms liegt, desto besser kann das Modell die Daten in Kategorien einteilen.

Um dies zu quantifizieren, können wir die AUC (Fläche unter der Kurve) berechnen, die uns sagt, wie viel von der Handlung unter der Kurve liegt.

Je näher die AUC bei 1 liegt, desto besser ist das Modell.

Wenn wir zwei ROC-Kurven vergleichen, um zu bestimmen, welches Klassifizierungsmodell besser ist, achten wir oft darauf, welche ROC-Kurve näher an der oberen linken Ecke des Diagramms „anliegt“ und daher einen höheren AUC-Wert aufweist.

Beispiel: So vergleichen Sie zwei ROC-Kurven

Angenommen, wir passen ein logistisches Regressionsmodell und ein Gradienten-erweitertes Modell an einen Datensatz an, um das Ergebnis einer Antwortvariablen vorherzusagen.

Angenommen, wir erstellen dann ROC-Kurven, um die Leistung jedes Modells zu visualisieren:

Die blaue Linie zeigt die ROC-Kurve für das logistische Regressionsmodell und die orangefarbene Linie zeigt die ROC-Kurve für das Gradienten-Boost-Modell.

Aus unserem Diagramm können wir die folgenden AUC-Werte für jedes Modell erkennen:

• AUC des logistischen Regressionsmodells: 0,7902
• AUC des Gradienten-verstärkten Modells: 0,9712

Da das mit dem Gradienten verbesserte Modell einen höheren AUC-Wert hat, würden wir sagen, dass es das Ergebnis der Antwortvariablen besser vorhersagt.

Hinweis : In diesem Beispiel haben wir nur zwei ROC-Kurven verglichen, es ist jedoch möglich, mehrere verschiedene Klassifizierungsmodelle an einen Datensatz anzupassen und noch mehr ROC-Kurven zu vergleichen, um das beste zu verwendende Modell zu ermitteln.

Zusätzliche Ressourcen

Die folgenden Tutorials bieten zusätzliche Informationen zu Klassifizierungsmodellen und ROC-Kurven:

Einführung in die logistische Regression
So interpretieren Sie eine ROC-Kurve
Was gilt als guter AUC-Wert?