Berapa skor brier?
Skor Brier adalah metrik yang kami gunakan dalam statistik untuk mengukur keakuratan perkiraan probabilistik. Umumnya digunakan bila hasil ramalan bersifat biner: hasilnya terjadi atau tidak terjadi.
Misalnya, ramalan cuaca mengatakan ada kemungkinan 90% hujan dan hujan benar-benar turun. Kita dapat menghitung skor Brier untuk perkiraan ini menggunakan rumus berikut:
Skor brier = (f – o) 2
Emas:
f = probabilitas prediksi
o = hasil (1 jika peristiwa terjadi, 0 jika tidak terjadi)
Dalam contoh ini, skor Brier perkiraan kita adalah (0,9 – 1) 2 = -0,1 2 = 0,01
Skor Brier untuk serangkaian tip dihitung secara sederhana sebagai rata-rata skor Brier untuk masing-masing tip:
Skor brier = 1/n * Σ(f t – o t ) 2
Emas:
n = ukuran sampel (jumlah prediksi)
Σ = simbol mewah yang berarti “jumlah”
f t = prediksi probabilitas pada kejadian t
o = hasil pada kejadian t (1 jika kejadian terjadi, 0 jika tidak terjadi)
Skor Brier dapat bernilai antara 0 dan 1, dengan 0 sebagai skor terbaik dan 1 sebagai skor terburuk. Semakin rendah skor Brier, semakin akurat prediksinya.
Contoh Perhitungan Skor Brier
Contoh berikut menggambarkan cara menghitung skor Brier.
Contoh 1: Ramalan cuaca mengatakan ada kemungkinan 0% hujan dan saat itu sedang hujan.
Skor Brier = (0 – 1) 2 = 1
Contoh 2: Ramalan cuaca mengatakan ada kemungkinan 100% hujan dan saat itu sedang hujan.
Skor Brier = (1 – 1) 2 = 0
Contoh 3: Ramalan cuaca mengatakan ada kemungkinan 27% hujan dan saat itu sedang hujan.
Skor Brier = (0,27 – 1) 2 = 0,5329
Contoh 4: Ramalan cuaca mengatakan ada kemungkinan 97% akan turun hujan dan tidak akan turun hujan.
Skor Brier = (0,97 – 0) 2 = 0,9409
Contoh 5: Seorang ahli meteorologi membuat ramalan berikut:
Kemungkinan hujan | Hasil |
---|---|
27% | Hujan |
67% | Hujan |
83% | Tidak hujan |
90% | Hujan |
Kita dapat menghitung skor Brier untuk rangkaian prediksi ini menggunakan rumus berikut:
Kemungkinan hujan | Hasil | Skor yang lebih brier |
---|---|---|
27% | Hujan | (.27-1) 2 = .5329 |
67% | Hujan | (.67-1) 2 = .1089 |
83% | Tidak hujan | (0,83-0) 2 = 0,6889 |
90% | Hujan | (0,90-1) 2 = 0,01 |
Skor Brier = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352 .
Hasil Keterampilan Brier
Skor keterampilan Brier adalah metrik yang memberi tahu kita seberapa baik skor Brier model perkiraan baru dibandingkan dengan model perkiraan yang sudah ada. Ini dihitung sebagai berikut:
Skor Kemahiran Brier = (BS E – BS N ) / BS E
Emas:
BS E = Skor Brier dari model yang ada
BS N = Skor Brier model baru
Jika skor keterampilan Brier positif, model baru akan membuat prediksi yang lebih akurat. Jika Skor Keterampilan Brier negatif, model baru akan membuat prediksi yang lebih buruk. Dan jika Brier Skill Score adalah nol, maka model baru tidak menawarkan peningkatan dibandingkan model yang sudah ada.
Misalnya, model kita yang ada memiliki skor Brier BS E = 0,4221 dan model baru kita memiliki skor Brier BS N = 0,3352. Skor Keterampilan Brier model baru kami dapat dihitung sebagai berikut:
Skor Kemahiran Brier = (0,4421 – 0,3352) / (0,4421) = 0,2418 .
Karena angka ini positif, ini menunjukkan bahwa model baru kami memberikan prediksi yang lebih akurat dibandingkan model yang sudah ada.
Semakin tinggi skor keterampilan Brier, semakin besar peningkatan model baru dibandingkan model yang sudah ada.