Cosa è considerato “buono”? punteggio f1?

Quando si utilizzanomodelli di classificazione nell’apprendimento automatico, una metrica comune che utilizziamo per valutare la qualità del modello è il punteggio F1 .

Questa metrica viene calcolata come segue:

Punteggio F1 = 2 * (Precisione * Richiamo) / (Precisione + Richiamo)

Oro:

• Precisione : correggere le previsioni positive rispetto al totale delle previsioni positive
• Promemoria : correzione delle previsioni positive rispetto al totale dei positivi effettivi

Ad esempio, supponiamo di utilizzare un modello di regressione logistica per prevedere se 400 diversi giocatori di basket universitari verranno arruolati o meno nella NBA.

La seguente matrice di confusione riassume le previsioni fatte dal modello:

Ecco come calcolare il punteggio F1 del modello:

Precisione = Vero positivo / (Vero positivo + Falso positivo) = 120/ (120+70) = 0,63157

Richiamo = Vero positivo / (Vero positivo + Falso negativo) = 120 / (120+40) = 0,75

Punteggio F1 = 2 * (.63157 * .75) / (.63157 + .75) = . 6857

Qual è un buon punteggio F1?

Una domanda che spesso gli studenti pongono è:

Cos’è un buon punteggio in F1?

In poche parole, i punteggi F1 più alti sono generalmente migliori.

Ricordiamo che i punteggi F1 possono variare da 0 a 1, dove 1 rappresenta un modello che classifica perfettamente ciascuna osservazione nella classe corretta e 0 rappresenta un modello incapace di classificare un’osservazione nella classe corretta.

Per illustrare ciò, supponiamo di avere un modello di regressione logistica che produce la seguente matrice di confusione:

Ecco come calcolare il punteggio F1 del modello:

Precisione = Vero positivo / (Vero positivo + Falso positivo) = 240/ (240+0) = 1

Richiamo = Vero Positivo / (Vero Positivo + Falso Negativo) = 240 / (240+0) = 1

Punteggio F1 = 2 * (1 * 1) / (1 + 1) = 1

Il punteggio F1 è pari a uno perché è in grado di classificare perfettamente ciascuna delle 400 osservazioni in una classe.

Consideriamo ora un altro modello di regressione logistica che prevede semplicemente che ogni giocatore verrà scelto:

Ecco come calcolare il punteggio F1 del modello:

Precisione = Vero positivo / (Vero positivo + Falso positivo) = 160/ (160+240) = 0,4

Richiamo = Vero Positivo / (Vero Positivo + Falso Negativo) = 160 / (160+0) = 1

Punteggio F1 = 2 * (0,4 * 1) / (0,4 + 1) = 0,5714

Questo sarebbe considerato un modello di base con cui potremmo confrontare il nostro modello di regressione logistica poiché rappresenta un modello che fa la stessa previsione per ogni osservazione nel set di dati.

Più alto è il nostro punteggio F1 rispetto a un modello di riferimento, più utile è il nostro modello.

Ricordiamo da prima che il nostro modello aveva un punteggio F1 di 0,6857 . Questo valore non è molto superiore a 0,5714 , il che indica che il nostro modello è più utile di un modello di base, ma non di molto.

Confrontando i punteggi della F1

In pratica, in genere utilizziamo il seguente processo per selezionare il modello “migliore” per un problema di classificazione:

Passaggio 1: adattare un modello di riferimento che effettui la stessa previsione per ciascuna osservazione.

Passaggio 2: adattare diversi modelli di classificazione e calcolare il punteggio F1 per ciascun modello.

Passo 3: Scegli il modello con il punteggio F1 più alto come modello “migliore”, verificando che produca un punteggio F1 più alto rispetto al modello di riferimento.

Nessun valore specifico è considerato un punteggio F1 “buono”, quindi generalmente scegliamo il modello di classificazione che produce il punteggio F1 più alto.

Risorse addizionali

Punteggio F1 vs precisione: quale dovresti usare?
Come calcolare il punteggio F1 in R
Come calcolare il punteggio F1 in Python