Cos'è un punteggio brier?
Un punteggio Brier è una metrica che utilizziamo nelle statistiche per misurare l’accuratezza delle previsioni probabilistiche. Viene generalmente utilizzato quando l’esito di una previsione è binario: o l’esito si verifica oppure non si verifica.
Ad esempio, supponiamo che le previsioni del tempo dicano che c’è una probabilità del 90% che piova e che effettivamente piova. Possiamo calcolare il punteggio Brier per questa previsione utilizzando la seguente formula:
Punteggio Brier = (f – o) 2
Oro:
f = probabilità prevista
o = risultato (1 se l’evento si verifica, 0 se non si verifica)
In questo esempio, il punteggio Brier della nostra previsione sarebbe (0,9 – 1) 2 = -0,1 2 = 0,01
Un punteggio Brier per una serie di suggerimenti viene semplicemente calcolato come la media dei punteggi Brier per i singoli suggerimenti:
Punteggio Brier = 1/n * Σ( ft – o t ) 2
Oro:
n = dimensione del campione (il numero di previsioni)
Σ = un simbolo di fantasia che significa “somma”
f t = probabilità prevista all’evento t
o = risultato all’evento t (1 se l’evento si verifica, 0 se non si verifica)
Un punteggio Brier può assumere qualsiasi valore compreso tra 0 e 1, dove 0 rappresenta il miglior punteggio possibile e 1 il peggiore punteggio possibile. Più basso è il punteggio Brier, più accurate saranno le previsioni.
Esempi di calcolo del punteggio Brier
I seguenti esempi illustrano come calcolare i punteggi Brier.
Esempio 1: una previsione dice che c’è una probabilità dello 0% che piova e sta piovendo.
Punteggio Brier = (0 – 1) 2 = 1
Esempio 2: Una previsione dice che c’è una probabilità del 100% che piova e sta piovendo.
Punteggio Brier = (1 – 1) 2 = 0
Esempio 3: Una previsione dice che c’è una probabilità del 27% che piova e sta piovendo.
Punteggio Brier = (0,27 – 1) 2 = 0,5329
Esempio 4: Una previsione dice che c’è una probabilità del 97% che piova e che non piova.
Punteggio Brier = (0,97 – 0) 2 = 0,9409
Esempio 5: Un meteorologo fa la seguente previsione:
| Probabilità di pioggia | Risultati |
|---|---|
| 27% | Piovere |
| 67% | Piovere |
| 83% | Niente pioggia |
| 90% | Piovere |
Possiamo calcolare il punteggio Brier per questo insieme di pronostici utilizzando le seguenti formule:
| Probabilità di pioggia | Risultati | Punteggio Brier |
|---|---|---|
| 27% | Piovere | (.27-1) 2 = .5329 |
| 67% | Piovere | (0,67-1) 2 = 0,1089 |
| 83% | Niente pioggia | (0,83-0) 2 = 0,6889 |
| 90% | Piovere | (0,90-1) 2 = 0,01 |
Punteggio Brier = (0,5329 + 0,1089 + 0,6889 + 0,01) / 4 = 0,3352 .
Risultati delle competenze di Brier
Un punteggio di abilità Brier è una metrica che ci dice quanto bene il punteggio Brier di un nuovo modello di previsione è paragonabile a un modello di previsione esistente. Viene calcolato come segue:
Punteggio di competenza Brier = (BS E – BS N ) / BS E
Oro:
BS E = Punteggio Brier del modello esistente
BS N = Punteggio Brier del nuovo modello
Se il punteggio di abilità Brier è positivo, il nuovo modello effettua previsioni più accurate. Se il punteggio di abilità di Brier è negativo, il nuovo modello fa previsioni peggiori. E se il punteggio di abilità di Brier è pari a zero, il nuovo modello non offre alcun miglioramento rispetto al modello esistente.
Ad esempio, supponiamo che il nostro modello esistente abbia un punteggio Brier di BS E = 0,4221 e che il nostro nuovo modello abbia un punteggio Brier di BS N = 0,3352. Il Brier Skill Score del nostro nuovo modello può essere calcolato come segue:
Punteggio di competenza Brier = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Poiché questo numero è positivo, indica che il nostro nuovo modello fornisce previsioni più accurate rispetto al modello esistente.
Più alto è il punteggio dell’abilità Brier, maggiore sarà il miglioramento nel nuovo modello rispetto al modello esistente.
Informazioni sull'autore
Benjamin anderson
Ciao, sono Benjamin, un professore di statistica in pensione diventato insegnante dedicato di Statorials. Con una vasta esperienza e competenza nel campo della statistica, sono ansioso di condividere le mie conoscenze per potenziare gli studenti attraverso Statorials. Scopri di più