Cara membandingkan dua kurva roc (dengan contoh)

Salah satu cara untuk memvisualisasikan performa model klasifikasi dalam pembelajaran mesin adalah dengan membuat kurva ROC , yang merupakan singkatan dari kurva “karakteristik operasi penerima”.

Jenis kurva ini menampilkan sensitivitas dan spesifisitas model klasifikasi:

• Sensitivitas: probabilitas model memprediksi hasil positif untuk suatu observasi padahal hasilnya benar-benar positif.
• Kekhususan: probabilitas model memprediksi hasil negatif untuk suatu observasi padahal hasilnya sebenarnya negatif.

Sumbu x dari kurva ROC mewakili (1- Spesifisitas) dan sumbu y mewakili Sensitivitas :

Semakin dekat kurva ROC ke sudut kiri atas plot, semakin baik model tersebut mampu mengklasifikasikan data ke dalam kategori.

Untuk mengukurnya, kita dapat menghitung AUC (area di bawah kurva) yang menunjukkan seberapa banyak plot yang berada di bawah kurva.

Semakin dekat AUC ke 1, maka semakin baik model tersebut.

Saat membandingkan dua kurva ROC untuk menentukan model klasifikasi mana yang lebih baik, kita sering melihat kurva ROC mana yang “memeluk” lebih dekat ke sudut kiri atas plot dan oleh karena itu memiliki nilai AUC yang lebih tinggi.

Contoh: Bagaimana membandingkan dua kurva ROC

Misalkan kita memasukkan model regresi logistik dan model yang ditingkatkan gradien ke kumpulan data untuk memprediksi hasil variabel respons.

Misalkan kita membuat kurva ROC untuk memvisualisasikan kinerja setiap model:

Garis biru menunjukkan kurva ROC untuk model regresi logistik dan garis oranye menunjukkan kurva ROC untuk model peningkatan gradien.

Dari grafik kita, kita dapat melihat nilai AUC berikut untuk setiap model:

• AUC model regresi logistik: 0,7902
• AUC model yang ditingkatkan gradien: 0,9712

Karena model peningkatan gradien memiliki nilai AUC yang lebih tinggi, dapat dikatakan bahwa model tersebut memprediksi hasil variabel respons dengan lebih baik.

Catatan : Dalam contoh ini, kami hanya membandingkan dua kurva ROC, namun dimungkinkan untuk menyesuaikan beberapa model klasifikasi yang berbeda ke kumpulan data dan membandingkan lebih banyak kurva ROC untuk menentukan model terbaik yang akan digunakan.

Sumber daya tambahan

Tutorial berikut memberikan informasi tambahan tentang model klasifikasi dan kurva ROC:

Pengantar Regresi Logistik
Bagaimana menafsirkan kurva ROC
Apa yang dianggap sebagai skor AUC yang baik?