Was ist ausgewogene genauigkeit? (definition & #038; beispiel)

Ausgewogene Genauigkeit ist eine Metrik, mit der wir die Leistung eines Klassifizierungsmodells bewerten können.

Es wird wie folgt berechnet:

Ausgewogene Genauigkeit = (Sensitivität + Spezifität) / 2

Gold:

• Sensitivität : Die „wahre positive Rate“ – der Prozentsatz der positiven Fälle, die das Modell erkennen kann.
• Spezifität : Die „echte Negativrate“ – der Prozentsatz der negativen Fälle, die das Modell erkennen kann.

Diese Metrik ist besonders nützlich, wenn die beiden Klassen unausgeglichen sind, das heißt, eine Klasse erscheint viel häufiger als die andere.

Das folgende Beispiel zeigt, wie die ausgewogene Genauigkeit in der Praxis berechnet wird, und zeigt, warum es sich um eine so nützliche Metrik handelt.

Beispiel: Berechnung der ausgewogenen Präzision

Angenommen, ein Sportanalyst verwendet ein logistisches Regressionsmodell , um vorherzusagen, ob 400 verschiedene College-Basketballspieler in die NBA eingezogen werden oder nicht.

Die folgende Verwirrungsmatrix fasst die vom Modell getroffenen Vorhersagen zusammen:

Um die ausgewogene Genauigkeit des Modells zu berechnen, berechnen wir zunächst die Sensitivität und Spezifität:

• Empfindlichkeit : Die „wahre positive Rate“ = 15 / (15 + 5) = 0,75
• Spezifität : Die „echte Negativrate“ = 375 / (375 + 5) = 0,9868

Wir können dann die ausgeglichene Präzision wie folgt berechnen:

• Ausgewogene Genauigkeit = (Sensitivität + Spezifität) / 2
• Ausgewogene Genauigkeit = (0,75 + 9868) / 2
• Ausgeglichene Genauigkeit = 0,8684

Die ausgeglichene Genauigkeit des Modells beträgt 0,8684 .

Beachten Sie, dass das Modell umso besser in der Lage ist, Beobachtungen korrekt zu klassifizieren, je näher die ausgeglichene Präzision bei 1 liegt.

In diesem Beispiel ist die ausgeglichene Genauigkeit recht hoch, was uns sagt, dass das logistische Regressionsmodell sehr gut vorhersagen kann, ob College-Spieler in die NBA eingezogen werden oder nicht.

Da die Klassen in diesem Szenario sehr unausgewogen sind (20 Spieler wurden gedraftet und 380 Spieler nicht), liefert uns die ausgewogene Genauigkeit ein realistischeres Bild der Modellleistung im Vergleich zu einer Gesamtgenauigkeitsmessung.

Beispielsweise würden wir die Modellgenauigkeit wie folgt berechnen:

• Genauigkeit = (TP + TN) / (TP + TN + FP + FN)
• Genauigkeit = (15 + 375) / (15 + 375 + 5 + 5)
• Genauigkeit = 0,975

Die Genauigkeit des Modells beträgt 0,975 , was extrem hoch erscheint.

Betrachten Sie jedoch ein Modell, das einfach vorhersagt, dass jeder Spieler nicht gedraftet wird. Es hätte eine Genauigkeit von 380/400 = 0,95 . Dies liegt nur geringfügig unter der Genauigkeit unseres Modells.

Der ausgewogene Genauigkeitswert von 0,8684 gibt uns eine bessere Vorstellung von der Fähigkeit des Modells, beide Klassen vorherzusagen.

Mit anderen Worten: Es gibt uns eine bessere Vorstellung von der Fähigkeit des Modells, vorherzusagen, welche Spieler nicht gedraftet werden und welche.

Zusätzliche Ressourcen

In den folgenden Tutorials wird erläutert, wie Sie in verschiedenen Statistikprogrammen eine Verwirrungsmatrix erstellen:

So erstellen Sie eine Verwirrungsmatrix in Excel
So erstellen Sie eine Verwirrungsmatrix in R
So erstellen Sie eine Verwirrungsmatrix in Python