Apa yang dianggap sebagai nilai rmse yang baik?

Salah satu cara untuk mengevaluasi seberapa cocok model regresi dengan kumpulan data adalah dengan menghitung mean square error , yang menunjukkan jarak rata-rata antara nilai prediksi model dan nilai sebenarnya dari kumpulan data. data.

Rumus untuk mencari mean square error yang sering disingkat RMSE adalah:

RMSE = √ Σ(P _saya – O _saya ) ² / n

Emas:

• Σ adalah simbol mewah yang berarti “jumlah”
• P _i adalah nilai prediksi observasi ^ke-i dalam dataset
• O _i adalah nilai observasi untuk observasi ^ke-i dalam kumpulan data
• n adalah ukuran sampel

Pertanyaan yang sering ditanyakan orang adalah: berapakah nilai RMSE yang baik?

Jawaban singkatnya: tergantung .

Semakin rendah RMSE, semakin baik model tertentu mampu “menyesuaikan” kumpulan data. Namun, rentang kumpulan data yang Anda gunakan penting dalam menentukan apakah nilai RMSE tertentu “rendah” atau tidak.

Misalnya, pertimbangkan skenario berikut:

Skenario 1: Kami ingin menggunakan model regresi untuk memprediksi harga rumah di kota tertentu. Asumsikan model memiliki nilai RMSE $500. Karena kisaran harga rumah pada umumnya adalah antara $70.000 dan $300.000, nilai RMSE ini sangat rendah. Hal ini menunjukkan bahwa model tersebut mampu memprediksi harga properti secara akurat.

Skenario 2: Sekarang misalkan kita ingin menggunakan model regresi untuk memprediksi berapa banyak pengeluaran seseorang per bulan di kota tertentu. Asumsikan model memiliki nilai RMSE $500. Jika kisaran pengeluaran bulanan pada umumnya adalah antara $1.500 dan $4.000, nilai RMSE ini cukup tinggi. Hal ini menunjukkan bahwa model tersebut tidak mampu memprediksi pengeluaran bulanan dengan akurat.

Contoh sederhana ini menunjukkan bahwa tidak ada nilai RMSE yang “baik” secara universal. Itu semua tergantung pada rentang nilai kumpulan data yang Anda kerjakan.

Normalisasi nilai RMSE

Salah satu cara untuk lebih memahami apakah nilai RMSE tertentu “baik” adalah dengan menormalkannya menggunakan rumus berikut:

RMSE yang dinormalisasi = RMSE / (nilai maksimum – nilai minimum)

Ini menghasilkan nilai antara 0 dan 1, di mana nilai yang mendekati 0 menunjukkan model yang lebih pas.

Misalnya, nilai RMSE kita adalah $500 dan rentang nilai kita adalah $70.000 hingga $300.000. Kami akan menghitung nilai RMSE yang dinormalisasi sebagai berikut:

• RMSE yang dinormalisasi = $500 / ($300.000 – $70.000) = 0,002

Sebaliknya, anggaplah nilai RMSE kita adalah $500 dan kisaran nilai kita antara $1.500 dan $4.000. Kami akan menghitung nilai RMSE yang dinormalisasi sebagai berikut:

• RMSE yang dinormalisasi = $500 / ($4.000 – $1.500) = 0,2 .

Nilai RMSE ternormalisasi pertama jauh lebih rendah, menunjukkan bahwa nilai tersebut memberikan kesesuaian yang jauh lebih baik dengan data dibandingkan dengan nilai RMSE ternormalisasi kedua.

Perbandingan RMSE antar model

Daripada memilih angka sembarangan untuk mewakili nilai RMSE yang “baik”, kita cukup membandingkan nilai RMSE dari beberapa model.

Misalnya, kita menyesuaikan tiga model regresi berbeda untuk memprediksi harga real estat. Asumsikan ketiga model memiliki nilai RMSE berikut:

• Model 1 RMSE: $550
• Model 2 RMSE: $480
• Model 3 RMSE: $1.400

Karena nilai RMSE Model 2 adalah yang terendah, kami akan memilih Model 2 sebagai model terbaik untuk memprediksi harga real estat karena jarak rata-rata antara harga prediksi dan harga aktual paling rendah untuk model ini.

Sumber daya tambahan

Bagaimana menafsirkan RMSE
Cara Menghitung RMSE di Excel
Cara menghitung RMSE di R
Cara Menghitung RMSE dengan Python
Kalkulator RMSE