Apa yang dianggap “baik”? skor f1?

Saat menggunakan model klasifikasi dalam pembelajaran mesin, metrik umum yang kami gunakan untuk mengevaluasi kualitas model adalah skor F1 .

Metrik ini dihitung sebagai berikut:

Skor F1 = 2 * (Presisi * Recall) / (Presisi + Recall)

Emas:

• Akurasi : Benar prediksi positif relatif terhadap total prediksi positif
• Pengingat : Mengoreksi prediksi positif terhadap total positif aktual

Misalnya, kita menggunakan model regresi logistik untuk memprediksi apakah 400 pemain bola basket perguruan tinggi yang berbeda akan direkrut ke NBA atau tidak.

Matriks konfusi berikut merangkum prediksi yang dibuat oleh model:

Berikut cara menghitung skor F1 model:

Akurasi = Positif Benar / (Positif Benar + Positif Palsu) = 120/ (120+70) = 0,63157

Penarikan kembali = Benar Positif / (Positif Benar + Negatif Palsu) = 120 / (120+40) = 0,75

Skor F1 = 2 * (.63157 * .75) / (.63157 + .75) = . 6857

Berapa skor F1 yang bagus?

Pertanyaan yang sering ditanyakan siswa adalah:

Berapa skor yang bagus di F1?

Sederhananya, skor F1 yang lebih tinggi umumnya lebih baik.

Ingatlah bahwa skor F1 dapat berkisar dari 0 hingga 1, dengan 1 mewakili model yang secara sempurna mengklasifikasikan setiap observasi ke dalam kelas yang benar dan 0 mewakili model yang tidak dapat mengklasifikasikan observasi ke dalam kelas yang benar.

Untuk mengilustrasikannya, misalkan kita memiliki model regresi logistik yang menghasilkan matriks konfusi berikut:

Berikut cara menghitung skor F1 model:

Akurasi = Positif Benar / (Positif Benar + Positif Palsu) = 240/ (240+0) = 1

Penarikan kembali = Benar Positif / (Positif Benar + Negatif Palsu) = 240 / (240+0) = 1

Skor F1 = 2 * (1 * 1) / (1 + 1) = 1

Skor F1 sama dengan satu karena mampu mengklasifikasikan secara sempurna setiap 400 observasi ke dalam satu kelas.

Sekarang pertimbangkan model regresi logistik lain yang hanya memprediksi bahwa setiap pemain akan direkrut:

Berikut cara menghitung skor F1 model:

Akurasi = Positif Benar / (Positif Benar + Positif Palsu) = 160/ (160+240) = 0,4

Penarikan kembali = Benar Positif / (Positif Benar + Negatif Palsu) = 160 / (160+0) = 1

Skor F1 = 2 * (.4 * 1) / (.4 + 1) = 0.5714

Ini akan dianggap sebagai model dasar yang dapat digunakan untuk membandingkan model regresi logistik karena model ini mewakili model yang membuat prediksi yang sama untuk setiap observasi dalam kumpulan data.

Semakin tinggi skor F1 kita dibandingkan dengan model referensi, semakin berguna model kita.

Ingat kembali sebelumnya bahwa model kita memiliki skor F1 sebesar 0,6857 . Angka ini tidak jauh lebih tinggi dari 0,5714 , yang menunjukkan bahwa model kami lebih berguna dibandingkan model dasar, namun tidak terlalu berguna.

Tentang membandingkan skor F1

Dalam praktiknya, kami biasanya menggunakan proses berikut untuk memilih model “terbaik” untuk masalah klasifikasi:

Langkah 1: Pasangkan model referensi yang membuat prediksi yang sama untuk setiap observasi.

Langkah 2: Pasangkan beberapa model klasifikasi berbeda dan hitung skor F1 untuk setiap model.

Langkah 3: Pilih model dengan skor F1 tertinggi sebagai model “terbaik”, verifikasi bahwa model tersebut menghasilkan skor F1 lebih tinggi daripada model referensi.

Tidak ada nilai tertentu yang dianggap sebagai skor F1 yang “baik”, sehingga umumnya kita memilih model klasifikasi yang menghasilkan skor F1 tertinggi.

Sumber daya tambahan

Skor F1 vs Akurasi: Mana yang Harus Anda Gunakan?
Cara menghitung skor F1 di R
Cara menghitung skor F1 dengan Python