ブライアースコアとは何ですか?
Brier スコアは、確率的予測の精度を測定するために統計で使用される指標です。これは通常、予測の結果が 2 値である場合、つまり結果が発生するか発生しない場合に使用されます。
たとえば、天気予報で降水確率が 90% であると表示され、実際に雨が降ったとします。次の式を使用して、この予測の Brier スコアを計算できます。
ブリエスコア= (f – o) 2
金：
f = 予測確率
o = 結果 (イベントが発生した場合は 1、イベントが発生しなかった場合は 0)
この例では、予測のブライアー スコアは (0.9 – 1) 2 = -0.1 2 = 0.01となります。
一連のヒントの Brier スコアは、個々のヒントの Brier スコアの平均として単純に計算されます。
ブライアスコア= 1/n * Σ(f t – o t ) 2
金：
n = サンプルサイズ (予測の数)
Σ＝「和」を意味する派手な記号
f t = イベントtでの予測確率
o = イベントtでの結果 (イベントが発生した場合は 1、イベントが発生しなかった場合は 0)
Brier スコアは 0 から 1 までの任意の値を取ることができ、0 は可能な限り最高のスコア、1 は可能な限り最悪のスコアです。 Brier スコアが低いほど、予測はより正確になります。
Brier スコアの計算例
次の例は、ブライアー スコアの計算方法を示しています。
例 1: 天気予報では降水確率が 0% で、雨が降っています。
ブライアー スコア = (0 – 1) 2 = 1
例 2: 天気予報では降水確率 100% であるが、雨が降っています。
ブライアー スコア = (1 – 1) 2 = 0
例 3: 天気予報では降水確率が 27% であるとされていますが、雨が降ります。
ブライアー スコア = (0.27 – 1) 2 = 0.5329
例 4: 天気予報では、97% の確率で雨が降り、雨は降らないと言われています。
ブライアー スコア = (0.97 – 0) 2 = 0.9409
例 5: 気象学者は次のような予報をします。
| 雨の可能性 | 結果 |
|---|---|
| 27% | 雨 |
| 67% | 雨 |
| 83% | 雨が降らない |
| 90% | 雨 |
次の式を使用して、この一連の予測の Brier スコアを計算できます。
| 雨の可能性 | 結果 | ブライアースコア |
|---|---|---|
| 27% | 雨 | (.27-1) 2 = .5329 |
| 67% | 雨 | (.67-1) 2 = .1089 |
| 83% | 雨が降らない | (.83-0) 2 = .6889 |
| 90% | 雨 | (.90-1) 2 = .01 |
ブライアー スコア = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352 。
ブライアースキルの結果
Brier スキル スコアは、新しい予測モデルの Brier スコアが既存の予測モデルと比較してどの程度優れているかを示す指標です。次のように計算されます。
簡単な熟練度スコア= (BS E – BS N ) / BS E
金：
BS E = 既存モデルの Brier スコア
BS N = 新しいモデルのブライアー スコア
Brier スキル スコアが正の場合、新しいモデルはより正確な予測を行います。 Brier Skill Score が負の場合、新しいモデルの予測は悪化します。また、Brier Skill Score がゼロの場合、新しいモデルは既存のモデルに比べて何の改善もありません。
たとえば、既存のモデルの Brier スコアが BS E = 0.4221 で、新しいモデルの Brier スコアが BS N = 0.3352 であるとします。新しいモデルの Brier Skill Score は次のように計算できます。
Brier 熟練度スコア= (0.4421 – 0.3352) / (0.4421) = 0.2418 。
この数値は正であるため、新しいモデルが既存のモデルと比較してより正確な予測を提供することを示しています。
Brier スキル スコアが高いほど、既存のモデルと比較して新しいモデルの改善が大きくなります。
著者について
ベンジャミン・アンダーソン博士
私はベンジャミンです。退職した統計教授から、専任の Statorials 教育者になりました。 統計分野における豊富な経験と専門知識を活かして、私は Statorials を通じて学生に力を与えるために自分の知識を共有することに尽力しています。もっと知る