Umk vs. rmse: metrik mana yang harus anda gunakan?

Model regresi digunakan untuk mengukur hubungan antara satu atau lebih variabel prediktor dan variabel respon .

Setiap kali kita menyesuaikan model regresi, kita ingin memahami seberapa baik model tersebut mampu menggunakan nilai variabel prediktor untuk memprediksi nilai variabel respon.

Dua metrik yang sering kita gunakan untuk mengukur seberapa cocok suatu model dengan kumpulan data adalah mean square error (MSE) dan root mean square error (RMSE), yang dihitung sebagai berikut:

MSE : Metrik yang memberi tahu kita perbedaan akar rata-rata kuadrat antara nilai prediksi dan nilai aktual dalam kumpulan data. Semakin rendah MSE, semakin baik model tersebut cocok dengan kumpulan data.

MSE = Σ(ŷ _saya – kamu _saya ) ² / n

Emas:

• Σ adalah simbol yang berarti “jumlah”
• ŷ _i merupakan nilai prediksi pada pengamatan ^{ke i}
• y _i adalah nilai observasi untuk observasi ^ke-i
• n adalah ukuran sampel

RMSE : Metrik yang memberi tahu kita akar kuadrat dari selisih rata-rata akar kuadrat antara nilai prediksi dan nilai sebenarnya dalam kumpulan data. Semakin rendah RMSE, semakin baik model tersebut cocok dengan kumpulan data.

Ini dihitung sebagai berikut:

RMSE = √ Σ(ŷ _saya – kamu _saya ) ² / n

Emas:

• Σ adalah simbol yang berarti “jumlah”
• ŷ _i merupakan nilai prediksi pada pengamatan ^{ke i}
• y _i adalah nilai observasi untuk observasi ^ke-i
• n adalah ukuran sampel

Perhatikan bahwa rumusnya hampir sama. Faktanya, mean square error hanyalah akar kuadrat dari mean square error.

RMSE vs. UMK: Metrik Mana yang Harus Anda Gunakan?

Untuk mengevaluasi seberapa cocok suatu model dengan kumpulan data, kita lebih sering menggunakan RMSE karena diukur dalam satuan yang sama dengan variabel respon.

Sebaliknya, MSE diukur dalam satuan kuadrat variabel respon.

Untuk mengilustrasikannya, misalkan kita menggunakan model regresi untuk memprediksi berapa banyak poin yang akan dicetak oleh 10 pemain dalam permainan bola basket.

Tabel berikut menunjukkan poin yang diprediksi oleh model dibandingkan dengan poin sebenarnya yang dicetak oleh para pemain:

Kami akan menghitung mean square error (MSE) sebagai berikut:

• MSE = Σ(ŷ _saya – kamu _saya ) ² / n
• UMK = ((14-12) ² +(15-15) ² +(18-20) ² +(19-16) ² +(25-20) ² +(18-19) ² +(12-16) ² +(12-20) ² +(15-16) ² +(22-16) ² ) / 10
• UMK = 16

Kesalahan akar rata-rata kuadrat adalah 16. Hal ini menunjukkan bahwa selisih rata-rata akar kuadrat antara nilai yang diprediksi oleh model dan nilai sebenarnya adalah 16.

Root mean square error (RMSE) hanyalah akar kuadrat dari MSE:

• ADE = √ EQM
• RMSE = √ 16
• RMSE = 4

Kesalahan kuadrat rata-rata adalah 4. Hal ini menunjukkan bahwa deviasi rata-rata antara skor prediksi poin dan skor poin sebenarnya adalah 4.

Perhatikan bahwa menafsirkan kesalahan rata-rata kuadrat jauh lebih sederhana daripada kesalahan rata-rata kuadrat, karena kita berbicara tentang “poin yang dicetak” dan bukan “poin yang dicetak dikuadratkan”.

Cara menggunakan RMSE dalam praktik

Dalam praktiknya, kami biasanya menyesuaikan beberapa model regresi ke kumpulan data dan menghitung root mean square error (RMSE) dari setiap model.

Kami kemudian memilih model dengan nilai RMSE terendah sebagai model “terbaik”, karena model itulah yang membuat prediksi paling dekat dengan nilai sebenarnya pada dataset.

Perhatikan bahwa kita juga dapat membandingkan nilai MSE dari setiap model, tetapi RMSE lebih mudah diinterpretasikan dan oleh karena itu lebih sering digunakan.

Sumber daya tambahan

Pengantar Regresi Linier Berganda
RMSE vs. R-Squared: Metrik Mana yang Harus Anda Gunakan?
Kalkulator RMSE