브라이어 점수란 무엇입니까?

Brier 점수 는 확률적 예측의 정확성을 측정하기 위해 통계에서 사용하는 측정항목입니다. 일반적으로 예측 결과가 이분법적일 때 사용됩니다. 결과가 발생하거나 발생하지 않습니다.

예를 들어 일기예보에서 비가 올 확률이 90%라고 했는데 실제로 비가 내린다고 가정해 보겠습니다. 다음 공식을 사용하여 이 예측에 대한 Brier 점수를 계산할 수 있습니다.

브라이어 점수 = (f – o) ²

금:

f = 예측 확률

o = 결과(이벤트가 발생하면 1, 발생하지 않으면 0)

이 예에서 예측의 Brier 점수는 (0.9 – 1) ² = -0.1 ² = 0.01 입니다.

팁 세트의 Brier 점수는 개별 팁의 Brier 점수 평균으로 간단히 계산됩니다.

브라이어 점수 = 1/n * Σ(f _t – o _t ) ²

금:

n = 표본 크기(예측 수)

Σ = “합계”를 의미하는 고급 기호

f _t = 사건 t 에서의 예측 확률

o = 이벤트 t 에서의 결과(이벤트가 발생하면 1, 발생하지 않으면 0)

Brier 점수는 0과 1 사이의 값을 가질 수 있으며, 0은 가능한 최고 점수이고 1은 최악의 점수입니다. Brier 점수가 낮을수록 예측이 더 정확해집니다.

브라이어 점수 계산 예

다음 예에서는 Brier 점수를 계산하는 방법을 보여줍니다.

예 1: 일기예보에서는 비가 올 확률이 0%이고 비가 온다고 합니다.

브라이어 점수 = (0 – 1) ² = 1

예 2: 일기예보에서는 비가 올 확률이 100%이고 비가 온다고 합니다.

브라이어 점수 = (1 – 1) ² = 0

예 3: 일기예보에 따르면 비가 올 확률이 27%이고 비가 내리고 있습니다.

브라이어 점수 = (0.27 – 1) ² = 0.5329

예 4: 일기예보는 비가 올 확률과 비가 내리지 않을 확률이 97%라고 나와 있습니다.

브라이어 점수 = (0.97 – 0) ² = 0.9409

예 5: 기상학자는 다음과 같이 예측합니다.

다음 공식을 사용하여 이 예측 세트에 대한 Brier 점수를 계산할 수 있습니다.

브라이어 점수 = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352 .

브리어 스킬 결과

Brier 기술 점수는 새 예측 모델의 Brier 점수가 기존 예측 모델과 얼마나 잘 비교되는지를 알려주는 측정항목입니다. 다음과 같이 계산됩니다.

브라이어 숙련도 점수 = (BS _E – BS _N ) / BS _E

금:

BS _E = 기존 모델의 Brier 점수

BS _N = 새 모델의 Brier Score

Brier 기술 점수가 긍정적인 경우 새 모델은 더 정확한 예측을 수행합니다. Brier Skill Score가 음수이면 새 모델은 더 나쁜 예측을 내립니다. 그리고 Brier Skill Score가 0이면 새 모델은 기존 모델에 비해 개선 사항을 제공하지 않습니다.

예를 들어, 기존 모델의 Brier 점수가 BS _E = 0.4221이고 새 모델의 Brier 점수가 BS _N = 0.3352라고 가정합니다. 새로운 모델의 Brier Skill Score는 다음과 같이 계산할 수 있습니다.

브라이어 숙련도 점수 = (0.4421 – 0.3352) / (0.4421) = 0.2418 .

이 숫자는 양수이므로 새 모델이 기존 모델에 비해 더 정확한 예측을 제공한다는 것을 나타냅니다.

브라이어 스킬 점수가 높을수록 기존 모델에 비해 신형 모델의 개선 정도가 더 커집니다.