Co to jest wynik briera?
Wynik Briera to metryka, której używamy w statystyce do pomiaru dokładności prognoz probabilistycznych. Jest powszechnie stosowany, gdy wynik prognozy jest binarny: albo wynik występuje, albo nie występuje.
Załóżmy na przykład, że prognoza pogody mówi, że prawdopodobieństwo wystąpienia deszczu wynosi 90% i faktycznie pada. Wynik Briera dla tej prognozy możemy obliczyć za pomocą następującego wzoru:
Wynik Briera = (f – o) 2
Złoto:
f = przewidywane prawdopodobieństwo
o = wynik (1 jeśli zdarzenie wystąpi, 0 jeśli nie wystąpi)
W tym przykładzie wynik Briera naszej prognozy będzie wynosić (0,9 – 1) 2 = -0,1 2 = 0,01
Wynik Briera dla zestawu typów jest po prostu obliczany jako średnia wyników Briera dla poszczególnych typów:
Wynik Briera = 1/n * Σ(f t – o t ) 2
Złoto:
n = wielkość próby (liczba przewidywań)
Σ = fantazyjny symbol oznaczający „sumę”
f t = przewidywane prawdopodobieństwo zdarzenia t
o = wynik zdarzenia t (1 jeśli zdarzenie wystąpi, 0 jeśli nie wystąpi)
Wynik Briera może przyjmować dowolną wartość z zakresu od 0 do 1, gdzie 0 oznacza najlepszy możliwy wynik, a 1 najgorszy możliwy wynik. Im niższy wynik Briera, tym dokładniejsze prognozy.
Przykłady obliczeń wyniku Briera
Poniższe przykłady ilustrują sposób obliczania wyników Briera.
Przykład 1: Prognoza mówi, że prawdopodobieństwo wystąpienia deszczu wynosi 0% i pada deszcz.
Wynik Briera = (0 – 1) 2 = 1
Przykład 2: Prognoza mówi, że istnieje 100% szans na deszcz i pada deszcz.
Wynik Briera = (1 – 1) 2 = 0
Przykład 3: Prognoza mówi, że prawdopodobieństwo wystąpienia deszczu wynosi 27% i pada deszcz.
Wynik Briera = (0,27 – 1) 2 = 0,5329
Przykład 4: Prognoza mówi, że prawdopodobieństwo, że będzie padać i że nie będzie padać wynosi 97%.
Wynik Briera = (0,97 – 0) 2 = 0,9409
Przykład 5: Meteorolog sporządza następującą prognozę:
Szansa na deszcz | Wyniki |
---|---|
27% | Deszcz |
67% | Deszcz |
83% | Nie ma deszczu |
90% | Deszcz |
Możemy obliczyć wynik Briera dla tego zestawu przewidywań, korzystając z następujących wzorów:
Szansa na deszcz | Wyniki | Wynik Briera |
---|---|---|
27% | Deszcz | (0,27-1) 2 = 0,5329 |
67% | Deszcz | (0,67-1) 2 = 0,1089 |
83% | Nie ma deszczu | (0,83-0) 2 = 0,6889 |
90% | Deszcz | (0,90-1) 2 = 0,01 |
Wynik Briera = (0,5329 + 0,1089 + 0,6889 + 0,01) / 4 = 0,3352 .
Wyniki umiejętności Briera
Wynik umiejętności Briera to metryka, która mówi nam, jak dobrze wynik Briera nowego modelu prognozy wypada w porównaniu z istniejącym modelem prognozy. Oblicza się go w następujący sposób:
Wynik biegłości Briera = (BS E – BS N ) / BS E
Złoto:
BS E = wynik Briera istniejącego modelu
BS N = Brier Score nowego modelu
Jeśli wynik umiejętności Briera jest pozytywny, nowy model zapewnia dokładniejsze przewidywania. Jeśli wynik umiejętności Briera jest ujemny, nowy model daje gorsze przewidywania. A jeśli Wynik Umiejętności Briera wynosi zero, nowy model nie oferuje żadnych ulepszeń w stosunku do istniejącego modelu.
Załóżmy na przykład, że nasz istniejący model ma wynik w skali Briera na poziomie BS E = 0,4221, a nasz nowy model ma wynik w skali Briera na poziomie BS N = 0,3352. Wynik umiejętności Briera naszego nowego modelu można obliczyć w następujący sposób:
Wynik Biegłości Briera = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Ponieważ liczba ta jest dodatnia, oznacza to, że nasz nowy model zapewnia dokładniejsze przewidywania w porównaniu z modelem istniejącym.
Im wyższy wynik umiejętności Briera, tym większa poprawa w nowym modelu w porównaniu z istniejącym modelem.