Was ist ein brier-score?
Ein Brier-Score ist eine Metrik, die wir in der Statistik verwenden, um die Genauigkeit probabilistischer Prognosen zu messen. Es wird im Allgemeinen verwendet, wenn das Ergebnis einer Prognose binär ist: Entweder das Ergebnis tritt ein oder es tritt nicht ein.
Angenommen, die Wettervorhersage besagt, dass die Regenwahrscheinlichkeit bei 90 % liegt, und es regnet tatsächlich. Den Brier-Score für diese Prognose können wir mit der folgenden Formel berechnen:
Brier-Score = (f – o) 2
Gold:
f = vorhergesagte Wahrscheinlichkeit
o = Ergebnis (1, wenn das Ereignis eintritt, 0, wenn es nicht eintritt)
In diesem Beispiel wäre der Brier-Score unserer Prognose (0,9 – 1) 2 = -0,1 2 = 0,01
Ein Brier-Score für eine Reihe von Tipps wird einfach als Durchschnitt der Brier-Scores für die einzelnen Tipps berechnet:
Brier-Score = 1/n * Σ( ft – o t ) 2
Gold:
n = Stichprobengröße (die Anzahl der Vorhersagen)
Σ = ein ausgefallenes Symbol mit der Bedeutung „Summe“
f t = vorhergesagte Wahrscheinlichkeit bei Ereignis t
o = Ergebnis bei Ereignis t (1, wenn das Ereignis eintritt, 0, wenn es nicht eintritt)
Ein Brier-Score kann jeden Wert zwischen 0 und 1 annehmen, wobei 0 der bestmögliche Score und 1 der schlechtestmögliche Score ist. Je niedriger der Brier-Score, desto genauer sind die Vorhersagen.
Beispiele für die Berechnung des Brier-Scores
Die folgenden Beispiele veranschaulichen, wie Brier-Scores berechnet werden.
Beispiel 1: Laut Wettervorhersage liegt die Regenwahrscheinlichkeit bei 0 % und es regnet.
Brier-Score = (0 – 1) 2 = 1
Beispiel 2: Laut Wettervorhersage besteht eine 100-prozentige Regenwahrscheinlichkeit und es regnet.
Brier-Score = (1 – 1) 2 = 0
Beispiel 3: Eine Vorhersage besagt, dass die Regenwahrscheinlichkeit bei 27 % liegt und es regnet.
Brier-Score = (0,27 – 1) 2 = 0,5329
Beispiel 4: Eine Wettervorhersage besagt, dass die Wahrscheinlichkeit, dass es regnen wird, bei 97 % liegt und dass es nicht regnen wird.
Brier-Score = (0,97 – 0) 2 = 0,9409
Beispiel 5: Ein Meteorologe macht folgende Vorhersage:
| Niederschlagswahrscheinlichkeit | Ergebnisse |
|---|---|
| 27 % | Regen |
| 67 % | Regen |
| 83 % | Kein Regen |
| 90 % | Regen |
Wir können den Brier-Score für diesen Satz von Vorhersagen mithilfe der folgenden Formeln berechnen:
| Niederschlagswahrscheinlichkeit | Ergebnisse | Brier-Score |
|---|---|---|
| 27 % | Regen | (.27-1) 2 = .5329 |
| 67 % | Regen | (.67-1) 2 = .1089 |
| 83 % | Kein Regen | (.83-0) 2 = .6889 |
| 90 % | Regen | (.90-1) 2 = .01 |
Brier-Score = (.5329 + .1089 + .6889 + .01) / 4 = 0,3352 .
Ergebnisse der Brier-Fähigkeiten
Ein Brier-Skill-Score ist eine Metrik, die uns sagt, wie gut der Brier-Score eines neuen Prognosemodells im Vergleich zu einem vorhandenen Prognosemodell abschneidet. Es wird wie folgt berechnet:
Brier Proficiency Score = (BS E – BS N ) / BS E
Gold:
BS E = Brier-Score des bestehenden Modells
BS N = Brier-Score des neuen Modells
Wenn der Brier-Fähigkeitswert positiv ist, macht das neue Modell genauere Vorhersagen. Wenn der Brier Skill Score negativ ist, macht das neue Modell schlechtere Vorhersagen. Und wenn der Brier Skill Score Null ist, dann bietet das neue Modell keine Verbesserung gegenüber dem bestehenden Modell.
Angenommen, unser bestehendes Modell hat einen Brier-Score von BS E = 0,4221 und unser neues Modell hat einen Brier-Score von BS N = 0,3352. Der Brier Skill Score unseres neuen Modells kann wie folgt berechnet werden:
Brier-Kompetenzwert = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Da diese Zahl positiv ist, deutet dies darauf hin, dass unser neues Modell im Vergleich zum bestehenden Modell genauere Vorhersagen liefert.
Je höher der Brier-Skill-Score, desto größer ist die Verbesserung des neuen Modells im Vergleich zum bestehenden Modell.
Über den Autor
Dr. Benjamin Anderson
Hallo, ich bin Benjamin, ein pensionierter Statistikprofessor, der sich zum engagierten Statorials-Lehrer entwickelt hat. Mit umfassender Erfahrung und Fachwissen auf dem Gebiet der Statistik bin ich bestrebt, mein Wissen zu teilen, um Studenten durch Statorials zu befähigen. Mehr wissen