Wat is een brier-score?
Een Brier-score is een maatstaf die we in statistieken gebruiken om de nauwkeurigheid van probabilistische voorspellingen te meten. Het wordt over het algemeen gebruikt als de uitkomst van een voorspelling binair is: de uitkomst komt voor of komt niet voor.
Stel bijvoorbeeld dat een weersvoorspelling zegt dat er 90% kans is op regen en dat het ook daadwerkelijk regent. We kunnen de Brier-score voor deze voorspelling berekenen met behulp van de volgende formule:
Brier-score = (f – o) 2
Goud:
f = voorspelde waarschijnlijkheid
o = resultaat (1 als de gebeurtenis plaatsvindt, 0 als deze niet plaatsvindt)
In dit voorbeeld zou de Brier-score van onze voorspelling zijn (0,9 – 1) 2 = -0,1 2 = 0,01
Een Brier-score voor een set tips wordt eenvoudigweg berekend als het gemiddelde van de Brier-scores voor de individuele tips:
Brier-score = 1/n * Σ(f t – o t ) 2
Goud:
n = steekproefomvang (het aantal voorspellingen)
Σ = een mooi symbool dat ‘som’ betekent
f t = voorspelde waarschijnlijkheid bij gebeurtenis t
o = resultaat bij gebeurtenis t (1 als de gebeurtenis plaatsvindt, 0 als deze niet plaatsvindt)
Een Brier-score kan elke waarde tussen 0 en 1 aannemen, waarbij 0 de best mogelijke score is en 1 de slechtst mogelijke score. Hoe lager de Brier-score, hoe nauwkeuriger de voorspellingen.
Brier Score Berekeningsvoorbeelden
De volgende voorbeelden illustreren hoe u Brier-scores kunt berekenen.
Voorbeeld 1: Een voorspelling zegt dat er 0% kans is op regen en dat het regent.
Brier-score = (0 – 1) 2 = 1
Voorbeeld 2: Een voorspelling zegt dat er 100% kans is op regen en dat het regent.
Brier-score = (1 – 1) 2 = 0
Voorbeeld 3: Volgens een voorspelling is er 27% kans op regen en het regent.
Brier-score = (0,27 – 1) 2 = 0,5329
Voorbeeld 4: Een voorspelling zegt dat er 97% kans is dat het zal regenen en dat het niet zal regenen.
Brier-score = (0,97 – 0) 2 = 0,9409
Voorbeeld 5: Een meteoroloog maakt de volgende voorspelling:
| Kans op regen | Resultaten |
|---|---|
| 27% | Regen |
| 67% | Regen |
| 83% | Geen regen |
| 90% | Regen |
We kunnen de Brier-score voor deze reeks voorspellingen berekenen met behulp van de volgende formules:
| Kans op regen | Resultaten | Brier-score |
|---|---|---|
| 27% | Regen | (.27-1) 2 = .5329 |
| 67% | Regen | (.67-1) 2 = .1089 |
| 83% | Geen regen | (.83-0) 2 = .6889 |
| 90% | Regen | (.90-1) 2 = .01 |
Brier-score = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352 .
Resultaten van Brier-vaardigheden
Een Brier-vaardigheidsscore is een maatstaf die ons vertelt hoe goed de Brier-score van een nieuw voorspellingsmodel zich verhoudt tot een bestaand voorspellingsmodel. Het wordt als volgt berekend:
Brier-vaardigheidsscore = (BS E – BS N ) / BS E
Goud:
BS E = Brier-score van het bestaande model
BS N = Brier-score van het nieuwe model
Als een Brier-vaardigheidsscore positief is, maakt het nieuwe model nauwkeurigere voorspellingen. Als de Brier Skill Score negatief is, doet het nieuwe model slechtere voorspellingen. En als de Brier Skill Score nul is, biedt het nieuwe model geen verbetering ten opzichte van het bestaande model.
Stel bijvoorbeeld dat ons bestaande model een Brier-score heeft van BS E = 0,4221 en ons nieuwe model een Brier-score heeft van BS N = 0,3352. De Brier Skill Score van ons nieuwe model kan als volgt worden berekend:
Brier-vaardigheidsscore = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Omdat dit getal positief is, geeft dit aan dat ons nieuwe model nauwkeurigere voorspellingen biedt in vergelijking met het bestaande model.
Hoe hoger de Brier-vaardigheidsscore, hoe groter de verbetering in het nieuwe model vergeleken met het bestaande model.
Über den Autor
Dr.benjamin anderson
Ik ben Benjamin, een gepensioneerde hoogleraar statistiek die nu een toegewijde Statorials-lesgever is. Ik heb uitgebreide ervaring en expertise op het gebied van statistiek en ik ben vastbesloten om mijn kennis te delen met studenten via Statorials. Lees verder