Skor f1 vs akurasi: mana yang harus anda gunakan?

Saat menggunakan model klasifikasi dalam pembelajaran mesin, dua metrik yang sering kita gunakan untuk mengevaluasi kualitas model adalah skor F1 dan akurasi .

Untuk kedua metrik tersebut, semakin tinggi nilainya, semakin mampu suatu model mengklasifikasikan observasi ke dalam kelas-kelas.

Namun, setiap metrik dihitung menggunakan rumus yang berbeda dan terdapat kelebihan dan kekurangan dalam menggunakannya.

Contoh berikut menunjukkan cara menghitung setiap metrik dalam praktiknya.

Contoh: Perhitungan skor dan akurasi F1

Misalkan kita menggunakan model regresi logistik untuk memprediksi apakah 400 pemain bola basket perguruan tinggi yang berbeda akan direkrut ke NBA atau tidak.

Matriks konfusi berikut merangkum prediksi yang dibuat oleh model:

Berikut cara menghitung berbagai metrik untuk matriks konfusi:

Akurasi: prediksi positif yang benar relatif terhadap total prediksi positif

• Akurasi = Benar Positif / (Positif Benar + Positif Palsu)
• Akurasi = 120 / (120 + 70)
• Akurasi = 0,63

Pengingat: Perbaiki prediksi positif terhadap total positif aktual

• Penarikan kembali = Benar Positif / (Positif Benar + Negatif Palsu)
• Penarikan kembali = 120 / (120 + 40)
• Ingat = 0,75

Akurasi: persentase seluruh observasi yang diklasifikasikan dengan benar

• Akurasi = (Benar positif + Benar negatif) / (Total ukuran sampel)
• Akurasi = (120 + 170) / (400)
• Akurasi = 0,725

Skor F1: rata-rata harmonik antara presisi dan perolehan

• Skor F1 = 2 * (Presisi * Recall) / (Presisi + Recall)
• Skor F1 = 2 * (0,63 * 0,75) / (0,63 + 0,75)
• Skor F1 = 0,685

Kapan menggunakan skor F1 versus akurasi

Ada pro dan kontra dalam penggunaan skor dan akurasi F1.

Akurasi :

Kelebihan : Mudah diinterpretasikan. Jika kita mengatakan bahwa suatu model memiliki akurasi 90%, kita tahu bahwa model tersebut telah mengklasifikasikan 90% observasi dengan benar.

Kekurangan : Tidak memperhitungkan bagaimana data didistribusikan. Misalnya, asumsikan bahwa 90% dari seluruh pemain tidak direkrut ke dalam NBA. Jika kita memiliki model yang hanya memperkirakan bahwa setiap pemain tidak akan direkrut, model tersebut akan memprediksi dengan tepat hasil untuk 90% pemain. Nilai tersebut terkesan tinggi, namun model tersebut sebenarnya tidak mampu memprediksi dengan tepat pemain mana yang akan direkrut.

Hasil F1 :

Pro : Pertimbangkan bagaimana data didistribusikan. Misalnya, jika data sangat tidak seimbang (misalnya 90% dari seluruh pemain belum direkrut dan 10% belum direkrut), maka skor F1 akan memberikan penilaian yang lebih baik terhadap performa model.

Kekurangan : Lebih sulit untuk ditafsirkan. Skor F1 merupakan perpaduan antara presisi dan perolehan model, sehingga sedikit lebih sulit untuk ditafsirkan.

Umumnya:

Kita sering menggunakan akurasi ketika kelas seimbang dan tidak ada kerugian besar dalam memprediksi negatif palsu.

Kami sering menggunakan skor F1 ketika kelas tidak seimbang dan terdapat kelemahan serius dalam memprediksi negatif palsu.

Misalnya, jika kita menggunakan model regresi logistik untuk memprediksi apakah seseorang mengidap kanker atau tidak, hasil negatif palsu sangatlah buruk (misalnya memprediksi bahwa seseorang tidak mengidap kanker padahal mereka benar-benar mengidap kanker a) sehingga skor F1 akan menghukum model yang mengidap kanker. terlalu banyak negatif palsu. lebih dari presisi.

Sumber daya tambahan

Regresi vs. klasifikasi: apa bedanya?
Pengantar Regresi Logistik
Bagaimana melakukan regresi logistik di R
Cara Melakukan Regresi Logistik dengan Python