什么是 brier 分数？
Brier 分数是我们在统计学中用来衡量概率预测准确性的指标。它通常在预测结果为二元时使用：结果要么发生，要么不发生。
例如，假设天气预报说下雨的可能性为 90%，而实际上却下雨了。我们可以使用以下公式计算此预测的 Brier 分数：
Brier 分数= (f – o) 2
金子：
f = 预测概率
o = 结果（如果事件发生则为 1，如果未发生则为 0）
在此示例中，我们预测的 Brier 分数将为 (0.9 – 1) 2 = -0.1 2 = 0.01
一组提示的 Brier 分数可简单地计算为各个提示的 Brier 分数的平均值：
Brier 分数= 1/n * Σ(f t – o t ) 2
金子：
n = 样本大小（预测数量）
Σ = 一个奇特的符号，意思是“和”
f t = 事件t的预测概率
o = 事件t的结果（如果事件发生则为 1，如果未发生则为 0）
Brier 分数可以取 0 到 1 之间的任何值，其中 0 是可能的最佳分数，1 是可能的最差分数。 Brier 分数越低，预测越准确。
Brier 分数计算示例
以下示例说明了如何计算 Brier 分数。
示例 1：天气预报说下雨的可能性为 0%，而且正在下雨。
布赖尔分数 = (0 – 1) 2 = 1
示例 2：天气预报说有 100% 的可能性会下雨，而且正在下雨。
布赖尔分数 = (1 – 1) 2 = 0
示例 3：天气预报说下雨的可能性为 27%，而且正在下雨。
布赖尔分数 = (0.27 – 1) 2 = 0.5329
示例 4：预报显示有 97% 的可能性会下雨，但也有 97% 的可能性不会下雨。
布赖尔分数 = (0.97 – 0) 2 = 0.9409
示例 5：气象学家做出以下预测：
| 有可能下雨 | 结果 |
|---|---|
| 27% | 雨 |
| 67% | 雨 |
| 83% | 无雨 |
| 90% | 雨 |
我们可以使用以下公式计算这组预测的 Brier 分数：
| 有可能下雨 | 结果 | 布赖尔分数 |
|---|---|---|
| 27% | 雨 | (.27-1) 2 = .5329 |
| 67% | 雨 | (.67-1) 2 = .1089 |
| 83% | 无雨 | (.83-0) 2 = .6889 |
| 90% | 雨 | (.90-1) 2 = .01 |
布赖尔分数 = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352 。
荆棘技能结果
Brier 技能得分是一个指标，可以告诉我们新预测模型的 Brier 得分与现有预测模型相比有多好。计算方法如下：
Brier 熟练度分数= (BS E – BS N ) / BS E
金子：
BS E = 现有模型的 Brier 分数
BS N = 新模型的 Brier Score
如果 Brier 技能得分为正，则新模型会做出更准确的预测。如果 Brier 技能得分为负，则新模型会做出更差的预测。如果 Brier 技能得分为零，则新模型相对于现有模型没有任何改进。
例如，假设我们现有模型的 Brier 得分为 BS E = 0.4221，新模型的 Brier 得分为 BS N = 0.3352。我们新模型的 Brier Skill Score 计算如下：
Brier 熟练度分数= (0.4421 – 0.3352) / (0.4421) = 0.2418 。
由于这个数字是正数，这表明我们的新模型比现有模型提供了更准确的预测。
Brier 技能得分越高，新模型相对于现有模型的改进就越大。
关于作者
本杰明·安德森博
大家好，我是本杰明，一位退休的统计学教授，后来成为 Statorials 的热心教师。 凭借在统计领域的丰富经验和专业知识，我渴望分享我的知识，通过 Statorials 增强学生的能力。了解更多