Что такое оценка брайера?
Оценка Брайера — это показатель, который мы используем в статистике для измерения точности вероятностных прогнозов. Обычно он используется, когда результат прогноза является двоичным: результат либо наступает, либо не наступает.
Например, предположим, что в прогнозе погоды говорится, что вероятность дождя составляет 90%, и дождь действительно идет. Мы можем рассчитать оценку Брайера для этого прогноза, используя следующую формулу:
Оценка Брайера = (f – o) 2
Золото:
f = прогнозируемая вероятность
o = результат (1, если событие происходит, 0, если оно не происходит)
В этом примере оценка Брайера нашего прогноза будет (0,9 – 1) 2 = -0,1 2 = 0,01.
Оценка Брайера для набора советов просто рассчитывается как среднее значение оценок Брайера для отдельных советов:
Оценка Брайера = 1/n * Σ(f t – o t ) 2
Золото:
n = размер выборки (количество прогнозов)
Σ = причудливый символ, означающий «сумму».
f t = прогнозируемая вероятность события t
o = результат события t (1, если событие происходит, 0, если оно не происходит)
Оценка Брайера может принимать любое значение от 0 до 1, где 0 — лучший возможный балл, а 1 — худший возможный балл. Чем ниже показатель Брайера, тем точнее прогнозы.
Примеры расчета оценки Брайера
Следующие примеры иллюстрируют, как рассчитать баллы Брайера.
Пример 1: В прогнозе говорится, что вероятность дождя равна 0 %, и идет дождь.
Оценка Брайера = (0 – 1) 2 = 1
Пример 2: В прогнозе говорится, что вероятность дождя составляет 100%, и дождь идет.
Оценка Брайера = (1 – 1) 2 = 0
Пример 3: В прогнозе говорится, что вероятность дождя составляет 27%, и дождь идет.
Оценка Брайера = (0,27 – 1) 2 = 0,5329
Пример 4: В прогнозе говорится, что вероятность того, что пойдет дождь, или того, что дождя не будет, составляет 97%.
Оценка Брайера = (0,97 – 0) 2 = 0,9409
Пример 5: Метеоролог делает следующий прогноз:
Вероятность дождя | Полученные результаты |
---|---|
27% | Дождь |
67% | Дождь |
83% | Дождя нет |
90% | Дождь |
Мы можем рассчитать оценку Брайера для этого набора прогнозов, используя следующие формулы:
Вероятность дождя | Полученные результаты | Оценка Брайера |
---|---|---|
27% | Дождь | (0,27-1) 2 = 0,5329 |
67% | Дождь | (0,67-1) 2 = 0,1089 |
83% | Дождя нет | (0,83-0) 2 = 0,6889 |
90% | Дождь | (.90-1) 2 = .01 |
Оценка Брайера = (0,5329 + 0,1089 + 0,6889 + 0,01) / 4 = 0,3352 .
Результаты навыков Брайера
Оценка навыков Брайера — это показатель, который говорит нам, насколько хорошо оценка Брайера новой модели прогноза сравнивается с существующей моделью прогноза. Он рассчитывается следующим образом:
Оценка квалификации Брайера = (BS E – BS N ) / BS E
Золото:
BS E = оценка Брайера существующей модели
BS N = оценка по Брайеру новой модели
Если оценка навыка Брайера положительна, новая модель делает более точные прогнозы. Если показатель навыков Брайера отрицательный, новая модель дает худшие прогнозы. А если показатель навыков Брайера равен нулю, то новая модель не предлагает никаких улучшений по сравнению с существующей моделью.
Например, предположим, что наша существующая модель имеет оценку Брайера BS E = 0,4221, а наша новая модель имеет оценку Брайера BS N = 0,3352. Показатель навыков Брайера в нашей новой модели можно рассчитать следующим образом:
Оценка мастерства Брайера = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Поскольку это число положительное, оно указывает на то, что наша новая модель дает более точные прогнозы по сравнению с существующей моделью.
Чем выше показатель навыка Брайера, тем больше улучшений в новой модели по сравнению с существующей моделью.