Was gilt als guter auc-wert?

Die logistische Regression ist eine Methode, mit der wir ein Regressionsmodell anpassen, wenn die Antwortvariable binär ist.

Um zu bewerten, wie gut ein logistisches Regressionsmodell zu einem Datensatz passt, können wir uns die folgenden zwei Metriken ansehen:

• Sensitivität: Wahrscheinlichkeit, dass das Modell ein positives Ergebnis für eine Beobachtung vorhersagt, obwohl das Ergebnis tatsächlich positiv ist. Dies wird auch als „True-Positive-Rate“ bezeichnet.
• Spezifität: Die Wahrscheinlichkeit, dass das Modell ein negatives Ergebnis für eine Beobachtung vorhersagt, obwohl das Ergebnis tatsächlich negativ ist. Dies wird auch als „echte Negativrate“ bezeichnet.

Eine Möglichkeit, diese beiden Messungen zu visualisieren, besteht darin, eine ROC-Kurve zu erstellen, die für „Receiver Operating Characteristic“-Kurve steht.

Dies ist ein Diagramm, das die Sensitivität entlang der y-Achse und (1 – Spezifität) entlang der x-Achse anzeigt.

Eine Möglichkeit, die Wirksamkeit des logistischen Regressionsmodells bei der Klassifizierung von Daten zu quantifizieren, ist die Berechnung der AUC , die für „Fläche unter der Kurve“ steht.

Der AUC-Wert reicht von 0 bis 1. Ein Modell mit einer AUC von 1 ist in der Lage, Beobachtungen perfekt in Klassen zu klassifizieren, während ein Modell mit einer AUC von 0,5 nicht besser abschneidet als ein Modell, das zufällige Schätzungen anstellt.

Was ist ein guter AUC-Wert?

Eine Frage, die Studenten häufig zu AUC stellen, ist:

Was ist ein guter AUC-Wert?

Die Antwort:

Es gibt keinen spezifischen Schwellenwert dafür, was als guter AUC-Wert gilt.

Je höher der AUC-Wert, desto besser ist das Modell offensichtlich in der Lage, Beobachtungen in Klassen zu klassifizieren.

Und wir wissen, dass ein Modell mit einem AUC-Wert von 0,5 nicht besser ist als ein Modell, das zufällige Schätzungen anstellt.

Allerdings gibt es keine magische Zahl, die bestimmt, ob ein AUC-Wert gut oder schlecht ist.

Wenn wir bestimmte Ergebnisse als gut oder schlecht klassifizieren müssen , können wir uns auf die folgende Faustregel von Hosmer und Lemeshow in Applied Logistic Regression (S. 177) beziehen:

• 0,5 = Keine Diskriminierung
• 0,5-0,7 = Schlechte Unterscheidung
• 0,7–0,8 = Akzeptable Diskriminierung
• 0,8–0,9 = Ausgezeichnete Unterscheidung
• >0,9 = Außergewöhnliche Diskriminierung

Nach diesen Maßstäben würde ein Modell mit einem AUC-Wert unter 0,7 als schlecht gelten und jedes Modell mit einem höheren AUC-Wert als akzeptabel oder besser.

Ein „guter“ AUC-Wert variiert je nach Branche

Es ist wichtig zu bedenken, dass der Wert, der als „guter“ AUC-Wert gilt, je nach Branche unterschiedlich ist.

Im medizinischen Bereich suchen Forscher beispielsweise häufig nach AUC-Werten über 0,95, da die Kosten für einen Fehler sehr hoch sind.

Wenn wir beispielsweise über ein logistisches Regressionsmodell verfügen, das vorhersagt, ob ein Patient an Krebs erkranken wird oder nicht, sind die Kosten für einen Fehler (einem Patienten fälschlicherweise zu sagen, dass er keinen Krebs hat, und dann, dass er einen hat) so hoch, dass wir wollen ein Modell, das fast immer stimmt.

Umgekehrt kann in anderen Branchen wie dem Marketing ein niedrigerer AUC-Wert für ein Modell akzeptabel sein.

Wenn wir beispielsweise über ein Modell verfügen, das vorhersagt, ob ein Kunde ein Stammkunde sein wird oder nicht, ist der Preis für einen Fehler nicht lebensverändernd, sodass ein Modell mit einer AUC von nur 0,6 immer noch nützlich sein könnte.

Vergleichen Sie die AUC-Werte mit dem aktuellen Modell

In realen Umgebungen vergleichen wir häufig die AUC-Werte neuer logistischer Regressionsmodelle mit dem AUC-Wert des aktuell verwendeten Modells.

Angenommen, ein Unternehmen verwendet ein logistisches Regressionsmodell, um vorherzusagen, ob Kunden Stammkunden sein werden oder nicht.

Wenn das aktuelle Modell einen AUC-Wert von 0,6 aufweist und Sie ein neues Modell mit einem AUC-Wert von 0,65 entwickeln, ist das von Ihnen entwickelte neue Modell vorzuziehen, auch wenn es nur eine geringfügige Verbesserung bietet und von Hosmer und Lemeshow als „schlecht“ eingestuft würde Standards.

Zusätzliche Ressourcen

Die folgenden Tutorials bieten zusätzliche Informationen zum Erstellen und Interpretieren von ROC-Kurven und AUC-Scores:

So interpretieren Sie eine ROC-Kurve (mit Beispielen)
So erstellen Sie eine ROC-Kurve in Python
So erstellen Sie eine ROC-Kurve in R
So berechnen Sie die AUC in R