Cos'è la precisione bilanciata? (definizione & #038; esempio)

L’accuratezza bilanciata è una metrica che possiamo utilizzare per valutare le prestazioni di unmodello di classificazione .

Viene calcolato come segue:

Accuratezza bilanciata = (Sensibilità + Specificità) / 2

Oro:

• Sensibilità : il “vero tasso di positività” – la percentuale di casi positivi che il modello è in grado di rilevare.
• Specificità : il “vero tasso negativo” – la percentuale di casi negativi che il modello è in grado di rilevare.

Questa metrica è particolarmente utile quando le due classi sono sbilanciate, ovvero una classe appare molto più dell’altra.

L’esempio seguente mostra come calcolare nella pratica la precisione bilanciata e dimostra perché è una metrica così utile.

Esempio: calcolo della precisione bilanciata

Supponiamo che un analista sportivo utilizzi un modello di regressione logistica per prevedere se 400 diversi giocatori di basket universitari verranno arruolati o meno nella NBA.

La seguente matrice di confusione riassume le previsioni fatte dal modello:

Per calcolare l’accuratezza bilanciata del modello, calcoleremo prima la sensibilità e la specificità:

• Sensibilità : il “vero tasso positivo” = 15 / (15 + 5) = 0,75
• Specificità : il “tasso vero negativo” = 375 / (375 + 5) = 0,9868

Possiamo quindi calcolare la precisione bilanciata come segue:

• Accuratezza bilanciata = (Sensibilità + Specificità) / 2
• Precisione bilanciata = (0,75 + 9868) / 2
• Precisione bilanciata = 0,8684

La precisione bilanciata del modello risulta essere 0,8684 .

Si noti che quanto più la precisione bilanciata è vicina a 1, tanto più il modello è in grado di classificare correttamente le osservazioni.

In questo esempio, la precisione bilanciata è piuttosto elevata, il che ci dice che il modello di regressione logistica sta facendo un ottimo lavoro nel prevedere se i giocatori del college verranno arruolati o meno nella NBA.

In questo scenario, poiché le classi sono molto sbilanciate (20 giocatori sono stati draftati e 380 no), la precisione bilanciata ci fornisce un quadro più realistico delle prestazioni del modello rispetto a una misura di precisione complessiva.

Ad esempio, calcoleremo la precisione del modello come segue:

• Precisione = (TP + TN) / (TP + TN + FP + FN)
• Precisione = (15 + 375) / (15 + 375 + 5 + 5)
• Precisione = 0,975

La precisione del modello è 0,975 , che sembra estremamente elevata.

Tuttavia, considera un modello che prevede semplicemente che ogni giocatore non verrà scelto per il draft. Avrebbe una precisione di 380/400 = 0,95 . Questo è solo leggermente inferiore alla precisione del nostro modello.

Il punteggio di precisione bilanciato di 0,8684 ci dà un’idea migliore della capacità del modello di prevedere entrambe le classi.

In altre parole, ci dà un’idea migliore della capacità del modello di prevedere quali giocatori non verranno pescati e quali lo faranno.

Risorse addizionali

I seguenti tutorial spiegano come creare una matrice di confusione in diversi software statistici:

Come creare una matrice di confusione in Excel
Come creare una matrice di confusione in R
Come creare una matrice di confusione in Python