İki roc eğrisi nasıl karşılaştırılır (örnekle)

Makine öğreniminde sınıflandırma modellerinin performansını görselleştirmenin bir yolu, “alıcı çalışma karakteristiği” eğrisi anlamına gelen bir ROC eğrisi oluşturmaktır.

Bu tür eğri, bir sınıflandırma modelinin duyarlılığını ve özgüllüğünü gösterir:

• Duyarlılık: Sonuç gerçekten olumluyken modelin bir gözlem için olumlu bir sonuç tahmin etme olasılığı.
• Özgüllük: Sonuç gerçekte negatif olduğunda modelin bir gözlem için negatif bir sonuç öngörme olasılığı.

Bir ROC eğrisinin x ekseni (1- Özgüllük)’ ü, y ekseni ise Duyarlılığı temsil eder:

ROC eğrisi grafiğin sol üst köşesine ne kadar yakın olursa, model verileri kategorilere göre o kadar iyi sınıflandırabilir.

Bunu ölçmek için, bize grafiğin ne kadarının eğrinin altında olduğunu söyleyen AUC’yi (eğrinin altındaki alan) hesaplayabiliriz.

AUC 1’e ne kadar yakınsa model o kadar iyidir.

Hangi sınıflandırma modelinin daha iyi olduğunu belirlemek için iki ROC eğrisini karşılaştırırken, genellikle hangi ROC eğrisinin grafiğin sol üst köşesine daha yakın “sarıldığına” ve dolayısıyla daha yüksek bir AUC değerine sahip olduğuna bakarız.

Örnek: İki ROC eğrisi nasıl karşılaştırılır?

Bir yanıt değişkeninin sonucunu tahmin etmek için bir veri kümesine lojistik regresyon modeli ve gradyanla geliştirilmiş bir model yerleştirdiğimizi varsayalım.

Daha sonra her modelin performansını görselleştirmek için ROC eğrileri oluşturduğumuzu varsayalım:

Mavi çizgi lojistik regresyon modeli için ROC eğrisini, turuncu çizgi ise gradyan destekli model için ROC eğrisini gösterir.

Grafiğimizden her model için aşağıdaki AUC değerlerini görebiliriz:

• Lojistik regresyon modelinin AUC’si: 0,7902
• Gradyan destekli modelin AUC’si: 0,9712

Gradyanla geliştirilmiş modelin AUC değeri daha yüksek olduğundan, yanıt değişkeninin sonucunu daha iyi tahmin ettiğini söyleyebiliriz.

Not : Bu örnekte yalnızca iki ROC eğrisini karşılaştırdık, ancak birkaç farklı sınıflandırma modelini bir veri kümesine sığdırmak ve kullanılacak en iyi modeli belirlemek için daha fazla ROC eğrisini karşılaştırmak mümkündür.

Ek kaynaklar

Aşağıdaki eğitimler sınıflandırma modelleri ve ROC eğrileri hakkında ek bilgi sağlar:

Lojistik Regresyona Giriş
ROC eğrisi nasıl yorumlanır?
İyi bir AUC puanı nedir?