Dengeli doğruluk nedir? (tanım & #038; örnek)

Dengeli doğruluk, bir sınıflandırma modelinin performansını değerlendirmek için kullanabileceğimiz bir ölçümdür.

Aşağıdaki şekilde hesaplanır:

Dengeli Doğruluk = (Hassasiyet + Özgüllük) / 2

Altın:

• Hassasiyet : “Gerçek pozitif oran” – modelin tespit edebildiği pozitif vakaların yüzdesi.
• Özgüllük : “Gerçek negatif oran” – modelin tespit edebildiği negatif vakaların yüzdesi.

Bu ölçüm özellikle iki sınıf dengesiz olduğunda, yani bir sınıfın diğerinden çok daha fazla göründüğü durumlarda kullanışlıdır.

Aşağıdaki örnek, pratikte dengeli doğruluğun nasıl hesaplanacağını gösterir ve bunun neden bu kadar yararlı bir ölçüm olduğunu gösterir.

Örnek: Dengeli Hassasiyetin Hesaplanması

Bir spor analistinin 400 farklı üniversite basketbol oyuncusunun NBA’e alınıp alınmayacağını tahmin etmek için lojistik regresyon modeli kullandığını varsayalım.

Aşağıdaki karışıklık matrisi, modelin yaptığı tahminleri özetlemektedir:

Modelin dengeli doğruluğunu hesaplamak için öncelikle duyarlılığı ve özgüllüğü hesaplayacağız:

• Hassasiyet : “Gerçek pozitif oran” = 15 / (15 + 5) = 0,75
• Özgüllük : “Gerçek negatif oran” = 375 / (375 + 5) = 0,9868

Daha sonra dengeli hassasiyeti aşağıdaki gibi hesaplayabiliriz:

• Dengeli Doğruluk = (Hassasiyet + Özgünlük) / 2
• Dengeli doğruluk = (0,75 + 9868) / 2
• Dengeli doğruluk = 0,8684

Modelin dengeli doğruluğu 0,8684 olarak çıkıyor.

Dengeli hassasiyet 1’e ne kadar yakınsa modelin gözlemleri o kadar doğru şekilde sınıflandırabildiğini unutmayın.

Bu örnekte dengeli doğruluk oldukça yüksektir, bu da bize lojistik regresyon modelinin kolej oyuncularının NBA’e alınıp alınmayacağını tahmin etme konusunda çok iyi bir iş çıkardığını gösteriyor.

Bu senaryoda, sınıflar oldukça dengesiz olduğundan (20 oyuncu seçilmiş ve 380 oyuncu seçilmemiştir), dengeli doğruluk bize genel doğruluk ölçümüne kıyasla model performansına ilişkin daha gerçekçi bir tablo sunar.

Örneğin modelin doğruluğunu şu şekilde hesaplayabiliriz:

• Doğruluk = (TP + TN) / (TP + TN + FP + FN)
• Doğruluk = (15 + 375) / (15 + 375 + 5 + 5)
• Doğruluk = 0,975

Modelin doğruluğu 0,975 olup bu son derece yüksek görünmektedir.

Ancak her oyuncunun draft edilmeyeceğini öngören bir model düşünün. Doğruluğu 380/400 = 0,95 olacaktır. Bu, modelimizin doğruluğundan yalnızca biraz daha düşüktür.

0,8684’lük dengeli doğruluk puanı, modelin her iki sınıfı da tahmin etme yeteneği hakkında bize daha iyi bir fikir veriyor.

Başka bir deyişle, modelin hangi oyuncuların draft edilmeyeceğini , hangilerinin çıkacağını tahmin etme yeteneği hakkında bize daha iyi bir fikir veriyor.

Ek kaynaklar

Aşağıdaki eğitimler, farklı istatistiksel yazılımlarda karışıklık matrisinin nasıl oluşturulacağını açıklamaktadır:

Excel’de Karışıklık Matrisi Nasıl Oluşturulur
R’de bir karışıklık matrisi nasıl oluşturulur
Python’da Karışıklık Matrisi Nasıl Oluşturulur