คะแนน brier คืออะไร?
คะแนน Brier คือตัวชี้วัดที่เราใช้ในสถิติเพื่อวัดความแม่นยำของการพยากรณ์ความน่าจะเป็น โดยทั่วไปจะใช้เมื่อผลลัพธ์ของการคาดการณ์เป็นแบบไบนารี: ผลลัพธ์จะเกิดขึ้นหรือไม่เกิดขึ้น
ตัวอย่างเช่น สมมติว่าพยากรณ์อากาศบอกว่ามีโอกาสฝนตก 90% และฝนตกจริงๆ เราสามารถคำนวณคะแนน Brier สำหรับการพยากรณ์นี้ได้โดยใช้สูตรต่อไปนี้:
คะแนนไบรเออร์ = (f – o) 2
ทอง:
f = ความน่าจะเป็นที่คาดการณ์ไว้
o = ผลลัพธ์ (1 ถ้าเกิดเหตุการณ์ขึ้น, 0 ถ้าเหตุการณ์ไม่เกิดขึ้น)
ในตัวอย่างนี้ คะแนน Brier ของการพยากรณ์ของเราจะเป็น (0.9 – 1) 2 = -0.1 2 = 0.01
คะแนน Brier สำหรับทิปชุดหนึ่งจะคำนวณง่ายๆ เป็นค่าเฉลี่ยของคะแนน Brier สำหรับแต่ละทิป:
คะแนนไบรเออร์ = 1/n * Σ(f t – o t ) 2
ทอง:
n = ขนาดตัวอย่าง (จำนวนคำทำนาย)
Σ = สัญลักษณ์แฟนซีหมายถึง “ผลรวม”
f t = ความน่าจะเป็นที่คาดการณ์ไว้ที่เหตุการณ์ t
o = ผลลัพธ์ที่เหตุการณ์ t (1 หากเหตุการณ์เกิดขึ้น 0 หากไม่เกิดขึ้น)
คะแนน Brier สามารถใช้ค่าใดก็ได้ระหว่าง 0 ถึง 1 โดย 0 คือคะแนนที่ดีที่สุดเท่าที่จะเป็นไปได้ และ 1 คือคะแนนที่แย่ที่สุด ยิ่งคะแนน Brier ต่ำ การคาดการณ์ก็ยิ่งแม่นยำมากขึ้น
ตัวอย่างการคำนวณคะแนน Brier
ตัวอย่างต่อไปนี้แสดงวิธีคำนวณคะแนน Brier
ตัวอย่างที่ 1: การคาดการณ์ระบุว่ามีโอกาสฝนตก 0% และฝนกำลังตก
คะแนนไบรเออร์ = (0 – 1) 2 = 1
ตัวอย่างที่ 2: การคาดการณ์ระบุว่ามีโอกาสฝนตก 100% และฝนกำลังตก
คะแนน Brier = (1 – 1) 2 = 0
ตัวอย่างที่ 3: การคาดการณ์ระบุว่ามีโอกาสฝนตก 27% และฝนกำลังตก
คะแนนไบรเออร์ = (0.27 – 1) 2 = 0.5329
ตัวอย่างที่ 4: การคาดการณ์บอกว่ามีโอกาส 97% ที่ฝนจะตกและฝนจะไม่ตก
คะแนนไบรเออร์ = (0.97 – 0) 2 = 0.9409
ตัวอย่างที่ 5: นักอุตุนิยมวิทยาทำการพยากรณ์ต่อไปนี้:
| โอกาศเกิดฝน | ผลลัพธ์ |
|---|---|
| 27% | ฝน |
| 67% | ฝน |
| 83% | ไม่มีฝน |
| 90% | ฝน |
เราสามารถคำนวณคะแนน Brier สำหรับการทำนายชุดนี้โดยใช้สูตรต่อไปนี้:
| โอกาศเกิดฝน | ผลลัพธ์ | คะแนนของบรีเออร์ |
|---|---|---|
| 27% | ฝน | (.27-1) 2 = .5329 |
| 67% | ฝน | (.67-1) 2 = .1089 |
| 83% | ไม่มีฝน | (.83-0) 2 = .6889 |
| 90% | ฝน | (.90-1) 2 = .01 |
คะแนนไบรเออร์ = (.5329 + .1089 + .6889 + .01) / 4 = 0.3352
ผลลัพธ์ทักษะ Brier
คะแนนทักษะ Brier คือหน่วยวัดที่บอกเราว่าคะแนน Brier ของแบบจำลองการคาดการณ์ใหม่ดีเพียงใดเมื่อเปรียบเทียบกับแบบจำลองการคาดการณ์ที่มีอยู่ มีการคำนวณดังนี้:
คะแนนความสามารถ Brier = (BS E – BS N ) / BS E
ทอง:
BS E = คะแนน Brier ของแบบจำลองที่มีอยู่
BS N = Brier Score ของโมเดลใหม่
หากคะแนนทักษะ Brier เป็นบวก โมเดลใหม่จะทำให้การคาดการณ์แม่นยำยิ่งขึ้น หากคะแนนทักษะ Brier เป็นลบ โมเดลใหม่จะทำให้การคาดการณ์แย่ลง และหากคะแนนทักษะ Brier เป็นศูนย์ แสดงว่าโมเดลใหม่ไม่มีการปรับปรุงใด ๆ จากโมเดลที่มีอยู่
ตัวอย่างเช่น สมมติว่าโมเดลที่มีอยู่ของเรามีคะแนน Brier ที่ BS E = 0.4221 และแบบจำลองใหม่ของเรามีคะแนน Brier ที่ BS N = 0.3352 คะแนนทักษะ Brier ของโมเดลใหม่ของเราสามารถคำนวณได้ดังนี้:
คะแนนความสามารถ Brier = (0.4421 – 0.3352) / (0.4421) = 0.2418
เนื่องจากตัวเลขนี้เป็นค่าบวก จึงบ่งชี้ว่าโมเดลใหม่ของเราให้การคาดการณ์ที่แม่นยำยิ่งขึ้นเมื่อเปรียบเทียบกับโมเดลที่มีอยู่
ยิ่งคะแนนทักษะ Brier สูงเท่าใด การปรับปรุงโมเดลใหม่ก็จะยิ่งมากขึ้นเมื่อเทียบกับโมเดลที่มีอยู่
เกี่ยวกับผู้แต่ง
ดร.เบนจามิน แอนเดอร์สัน
สวัสดี ฉันชื่อเบนจามิน ศาสตราจารย์สถิติเกษียณอายุแล้ว และผันตัวมาเป็นครูสอนสถิติโดยเฉพาะ ด้วยประสบการณ์และความเชี่ยวชาญที่กว้างขวางในสาขาสถิติ ฉันกระตือรือร้นที่จะแบ่งปันความรู้ของฉันเพื่อเสริมศักยภาพนักเรียนผ่าน Statorials. รู้เพิ่มเติม