Qu’est-ce qu’un score au Brier ?
Un score Brier est une mesure que nous utilisons dans les statistiques pour mesurer l’exactitude des prévisions probabilistes. Il est généralement utilisé lorsque le résultat d’une prévision est binaire : soit le résultat se produit, soit il ne se produit pas.
Par exemple, supposons qu’une prévision météo indique qu’il y a 90 % de chances qu’il pleuve et qu’il pleuve effectivement. Nous pouvons calculer le score Brier pour cette prévision en utilisant la formule suivante :
Score Brier = (f – o) 2
où:
f = probabilité prévue
o = résultat (1 si l’événement se produit, 0 s’il ne se produit pas)
Dans cet exemple, le score Brier de notre prévision serait (0,9 – 1) 2 = -0,1 2 = 0,01
Un score Brier pour un ensemble de pronostics est simplement calculé comme la moyenne des scores Brier pour les pronostics individuels :
Score Brier = 1/n * Σ(f t – o t ) 2
où:
n = taille de l’échantillon (le nombre de prévisions)
Σ = un symbole fantaisiste qui signifie « somme »
f t = probabilité prévue à l’événement t
o = résultat à l’événement t (1 si l’événement se produit, 0 s’il ne se produit pas)
Un score Brier peut prendre n’importe quelle valeur comprise entre 0 et 1, 0 étant le meilleur score possible et 1 étant le pire score possible. Plus le score Brier est bas, plus les prédictions sont précises.
Exemples de calcul des scores du Brier
Les exemples suivants illustrent comment calculer les scores du Brier.
Exemple 1 : Une prévision indique qu’il y a 0 % de chance qu’il pleuve et il pleut.
Score Brier = (0 – 1) 2 = 1
Exemple 2 : Une prévision indique qu’il y a 100 % de chances qu’il pleuve et il pleut.
Score Brier = (1 – 1) 2 = 0
Exemple 3 : Une prévision indique qu’il y a 27 % de chances qu’il pleuve et il pleut.
Score Brier = (0,27 – 1) 2 = 0,5329
Exemple 4 : Une prévision indique qu’il y a 97 % de chances qu’il pleuve et qu’il ne pleut pas.
Score Brier = (0,97 – 0) 2 = 0,9409
Exemple 5 : Un météorologue fait les prévisions suivantes :
| Risque de pluie | Résultat |
|---|---|
| 27% | Pluie |
| 67% | Pluie |
| 83% | Pas de pluie |
| 90% | Pluie |
Nous pouvons calculer le score Brier pour cet ensemble de prédictions en utilisant les formules suivantes :
| Risque de pluie | Résultat | Score du Brier |
|---|---|---|
| 27% | Pluie | (.27-1) 2 = .5329 |
| 67% | Pluie | (.67-1) 2 = .1089 |
| 83% | Pas de pluie | (.83-0) 2 = .6889 |
| 90% | Pluie | (.90-1) 2 = .01 |
Score Brier = (.5329 + .1089 + .6889 + .01) / 4 = 0,3352 .
Résultats des compétences du Brier
Un score de compétence Brier est une mesure qui nous indique dans quelle mesure le score Brier d’un nouveau modèle de prévision se compare à un modèle de prévision existant. Il est calculé comme suit :
Score de compétence Brier = (BS E – BS N ) / BS E
où:
BS E = score Brier du modèle existant
BS N = Brier Score du nouveau modèle
Si un score de compétence au Brier est positif, le nouveau modèle fait des prédictions plus précises. Si le Brier Skill Score est négatif, le nouveau modèle fait de moins bonnes prédictions. Et si le Brier Skill Score est égal à zéro, alors le nouveau modèle n’offre aucune amélioration par rapport au modèle existant.
Par exemple, supposons que notre modèle existant ait un score Brier de BS E = 0,4221 et que notre nouveau modèle ait un score Brier de BS N = 0,3352. Le Brier Skill Score de notre nouveau modèle peut être calculé comme suit :
Score de compétence Brier = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Puisque ce nombre est positif, cela indique que notre nouveau modèle fournit des prévisions plus précises par rapport au modèle existant.
Plus le score de compétence du Brier est élevé, plus l’amélioration est importante dans le nouveau modèle par rapport au modèle existant.
à propos de l'auteur
Dr. Benjamin Anderson
Il est un professeur de statistiques à la retraite devenu éducateur dévoué sur Statorials. Avec une vaste expérience et une expertise dans le domaine des statistiques, je m'engage à partager mes connaissances pour responsabiliser les étudiants grâce à Statorials. Lire plus