Apa yang dimaksud dengan “baik”? akurasi untuk model pembelajaran mesin?

Saat menggunakan model klasifikasi dalam pembelajaran mesin, salah satu metrik yang sering kita gunakan untuk mengevaluasi kualitas suatu model adalah akurasi .

Presisi hanyalah persentase dari semua observasi yang diklasifikasikan dengan benar oleh model.

Ini dihitung sebagai berikut:

Akurasi = (# benar positif + # benar negatif) / (total ukuran sampel)

Pertanyaan yang sering ditanyakan siswa tentang akurasi adalah:

Apa yang dianggap sebagai nilai “baik” untuk keakuratan model pembelajaran mesin?

Meskipun akurasi suatu model dapat bervariasi antara 0% dan 100%, tidak ada ambang batas universal yang kami gunakan untuk menentukan apakah suatu model memiliki akurasi yang “baik” atau tidak.

Sebaliknya, kami biasanya membandingkan keakuratan model kami dengan model referensi.

Model dasar hanya memprediksi bahwa setiap observasi dalam kumpulan data termasuk dalam kelas yang paling umum.

Dalam praktiknya, model klasifikasi apa pun dengan akurasi lebih tinggi daripada model referensi dapat dianggap “berguna”, namun tentunya semakin besar perbedaan akurasi antara model kita dan model referensi, semakin baik.

Contoh berikut menunjukkan cara menentukan secara kasar apakah suatu model klasifikasi memiliki akurasi yang “baik” atau tidak.

Contoh: Menentukan apakah suatu model memiliki akurasi yang “baik”.

Misalkan kita menggunakan model regresi logistik untuk memprediksi apakah 400 pemain bola basket perguruan tinggi yang berbeda akan direkrut ke NBA atau tidak.

Matriks konfusi berikut merangkum prediksi yang dibuat oleh model:

Berikut cara menghitung keakuratan model ini:

• Akurasi = (# benar positif + # benar negatif) / (total ukuran sampel)
• Akurasi = (120 + 170) / (400)
• Akurasi = 0,725

Model tersebut dengan tepat memprediksi hasil untuk 72,5% pemain.

Untuk mendapatkan gambaran apakah akurasinya “baik” atau tidak, kita dapat menghitung akurasi model baseline.

Dalam contoh ini, hasil yang paling umum bagi pemain adalah hasil yang tidak direncanakan. Secara khusus, 240 dari 400 pemain tidak direkrut.

Model dasarnya adalah model yang hanya memprediksi bahwa setiap pemain tidak akan direkrut.

Keakuratan model ini akan dihitung sebagai berikut:

• Akurasi = (# benar positif + # benar negatif) / (total ukuran sampel)
• Akurasi = (0 + 240) / (400)
• Akurasi = 0,6

Model dasar ini akan memprediksi hasil dengan tepat untuk 60% pemain.

Dalam skenario ini, model regresi logistik kami memberikan peningkatan akurasi yang signifikan dibandingkan model dasar, jadi kami menganggap model kami setidaknya “berguna”.

Dalam praktiknya, kami mungkin akan menyesuaikan beberapa model klasifikasi yang berbeda dan memilih model akhir sebagai model yang memberikan peningkatan akurasi terbesar dibandingkan dengan model dasar.

Tindakan Pencegahan dalam Menggunakan Akurasi untuk Mengevaluasi Kinerja Model

Presisi adalah metrik yang umum digunakan karena mudah diinterpretasikan.

Misalnya, jika kita mengatakan bahwa suatu model memiliki akurasi 90%, kita tahu bahwa model tersebut telah mengklasifikasikan 90% observasi dengan benar.

Namun keakuratannya tidak memperhitungkan cara data didistribusikan.

Misalnya, asumsikan bahwa 90% dari seluruh pemain tidak direkrut ke dalam NBA. Jika kita memiliki model yang hanya memperkirakan bahwa setiap pemain tidak akan direkrut, model tersebut akan memprediksi dengan tepat hasil untuk 90% pemain.

Nilai tersebut terkesan tinggi, namun model tersebut sebenarnya tidak mampu memprediksi dengan tepat pemain mana yang akan direkrut.

Metrik alternatif yang sering digunakan disebut Skor F1 , yang memperhitungkan cara data didistribusikan.

Misalnya, jika data sangat tidak seimbang (misalnya 90% dari seluruh pemain belum direkrut dan 10% belum direkrut), maka skor F1 akan memberikan penilaian yang lebih baik terhadap performa model.

Pelajari lebih lanjut perbedaan antara akurasi dan skor F1 di sini .

Sumber daya tambahan

Tutorial berikut memberikan informasi tambahan tentang metrik yang digunakan dalam model klasifikasi pembelajaran mesin:

Apa yang dimaksud dengan akurasi seimbang?
Apa yang dianggap sebagai skor F1 yang ‘bagus’?