Wat wordt beschouwd als een goede auc-score?

Logistische regressie is een methode die we gebruiken om een regressiemodel te fitten wanneer de responsvariabele binair is.

Om te evalueren hoe goed een logistisch regressiemodel bij een dataset past, kunnen we naar de volgende twee statistieken kijken:

• Gevoeligheid: waarschijnlijkheid dat het model een positief resultaat voorspelt voor een waarneming terwijl het resultaat daadwerkelijk positief is. Dit wordt ook wel het “echte positieve percentage” genoemd.
• Specificiteit: de kans dat het model een negatief resultaat voorspelt voor een waarneming terwijl het resultaat feitelijk negatief is. Dit wordt ook wel het ‘echte negatieve tarief’ genoemd.

Eén manier om deze twee metingen te visualiseren is door een ROC-curve te maken, wat staat voor ‘receiver operating karakteristieke’-curve.

Dit is een grafiek die de gevoeligheid langs de y-as en (1 – specificiteit) langs de x-as weergeeft.

Eén manier om de effectiviteit van het logistische regressiemodel bij het classificeren van gegevens te kwantificeren is door de AUC te berekenen, wat staat voor ‚area under the curve‘.

De AUC-waarde varieert van 0 tot 1. Een model met een AUC van 1 kan waarnemingen perfect in klassen indelen, terwijl een model met een AUC van 0,5 het niet beter doet dan een model dat willekeurige gissingen doet.

Wat is een goede AUC-score?

Een vraag die studenten vaak stellen over AUC is:

Wat is een goede AUC-score?

Het antwoord:

Er is geen specifieke drempel voor wat als een goede AUC-score wordt beschouwd.

Het is duidelijk dat hoe hoger de AUC-score, hoe beter het model in staat is observaties in klassen te classificeren.

En we weten dat een model met een AUC-score van 0,5 niet beter is dan een model dat willekeurige gissingen doet.

Er bestaat echter geen magisch getal om te bepalen of een AUC-score goed of slecht is.

Als we bepaalde scores als goed of slecht moeten classificeren, kunnen we verwijzen naar de volgende vuistregel van Hosmer en Lemeshow in Applied Logistic Regression (p. 177):

• 0,5 = Geen discriminatie
• 0,5-0,7 = Slechte discriminatie
• 0,7-0,8 = Aanvaardbare discriminatie
• 0,8-0,9 = Uitstekende discriminatie
• >0,9 = Uitzonderlijke discriminatie

Volgens deze normen zou een model met een AUC-score van minder dan 0,7 als slecht worden beschouwd en zou elk hoger model als acceptabel of beter worden beschouwd.

Een ‘goede’ AUC-score verschilt per branche

Het is belangrijk om in gedachten te houden dat wat als een ‘goede’ AUC-score wordt beschouwd, per sector verschilt.

Op medisch gebied zoeken onderzoekers bijvoorbeeld vaak naar AUC-scores boven de 0,95, omdat de kosten van het maken van een fout erg hoog zijn.

Als we bijvoorbeeld een logistisch regressiemodel hebben dat voorspelt of een patiënt wel of niet kanker zal krijgen, zijn de kosten van het maken van een fout (een patiënt ten onrechte vertellen dat hij of zij geen kanker heeft) zo hoog dat we willen een model dat bijna altijd klopt.

Omgekeerd kan in andere sectoren, zoals marketing, een lagere AUC-score acceptabel zijn voor een model.

Als we bijvoorbeeld een model hebben dat voorspelt of een klant al dan niet een terugkerende klant zal zijn, is de prijs van het verkeerd zijn niet levensveranderend, dus een model met een AUC van slechts 0,6 kan nog steeds nuttig zijn.

Vergelijk AUC-scores met het huidige model

In de praktijk vergelijken we vaak de AUC-scores van nieuwe logistische regressiemodellen met de AUC-score van het huidige gebruikte model.

Stel bijvoorbeeld dat een bedrijf een logistisch regressiemodel gebruikt om te voorspellen of klanten wel of niet terugkerende klanten zullen zijn.

Als het huidige model een AUC-score van 0,6 heeft en u een nieuw model ontwikkelt met een AUC van 0,65, dan heeft het nieuwe model dat u heeft ontwikkeld de voorkeur, ook al biedt het slechts een kleine verbetering en zou het door Hosmer en Lemeshow als ‘slecht’ worden beschouwd. normen.

Aanvullende bronnen

De volgende tutorials bieden aanvullende informatie over het maken en interpreteren van ROC-curven en AUC-scores:

Een ROC-curve interpreteren (met voorbeelden)
Hoe u een ROC-curve in Python maakt
Hoe maak je een ROC-curve in R
Hoe de AUC in R te berekenen