Cos'è un "buono"? precisione per i modelli di machine learning?

Quando utilizziamomodelli di classificazione nell’apprendimento automatico, una metrica che utilizziamo spesso per valutare la qualità di un modello è l’accuratezza .

La precisione è semplicemente la percentuale di tutte le osservazioni correttamente classificate dal modello.

Viene calcolato come segue:

Accuratezza = (# veri positivi + # veri negativi) / (dimensione totale del campione)

Una domanda che gli studenti spesso pongono riguardo all’accuratezza è:

Qual è il valore considerato “buono” per l’accuratezza di un modello di machine learning?

Sebbene la precisione di un modello possa variare tra lo 0% e il 100%, non esiste una soglia universale da utilizzare per determinare se un modello ha o meno una precisione “buona”.

Invece, in genere confrontiamo l’accuratezza del nostro modello con quella di un modello di riferimento.

Un modello di base prevede semplicemente che ogni osservazione in un set di dati appartiene alla classe più comune.

In pratica qualsiasi modello di classificazione con accuratezza superiore a un modello di riferimento può essere considerato “utile”, ma ovviamente maggiore è la differenza di accuratezza tra il nostro modello e un modello di riferimento, meglio è.

L’esempio seguente mostra come determinare approssimativamente se un modello di classificazione ha una precisione “buona” o meno.

Esempio: determinare se un modello ha una precisione “buona”.

Supponiamo di utilizzare un modello di regressione logistica per prevedere se 400 diversi giocatori di basket universitari verranno arruolati o meno nella NBA.

La seguente matrice di confusione riassume le previsioni fatte dal modello:

Ecco come calcolare la precisione di questo modello:

• Accuratezza = (# veri positivi + # veri negativi) / (dimensione totale del campione)
• Precisione = (120 + 170) / (400)
• Precisione = 0,725

Il modello ha previsto correttamente il risultato per il 72,5% dei giocatori.

Per avere un’idea se la precisione è “buona” o meno, possiamo calcolare la precisione di un modello di base.

In questo esempio, il risultato più comune per i giocatori è stato l’annullamento del draft. Nello specifico, 240 giocatori su 400 non sono stati pescati.

Un modello di base sarebbe quello che prevede semplicemente che ogni giocatore non verrà scelto per il draft.

La precisione di questo modello verrebbe calcolata come segue:

• Accuratezza = (# veri positivi + # veri negativi) / (dimensione totale del campione)
• Precisione = (0 + 240) / (400)
• Precisione = 0,6

Questo modello di base prevederebbe correttamente il risultato per il 60% dei giocatori.

In questo scenario, il nostro modello di regressione logistica fornisce un notevole miglioramento della precisione rispetto a un modello di base, quindi consideriamo il nostro modello almeno “utile”.

In pratica, probabilmente adatteremmo diversi modelli di classificazione e sceglieremmo il modello finale come quello che fornisce il maggiore guadagno in termini di accuratezza rispetto a un modello di base.

Precauzioni per l’utilizzo dell’accuratezza per valutare le prestazioni del modello

La precisione è una metrica comunemente utilizzata perché è facile da interpretare.

Ad esempio, se diciamo che un modello è accurato al 90%, sappiamo che ha classificato correttamente il 90% delle osservazioni.

Tuttavia, l’accuratezza non tiene conto della modalità di distribuzione dei dati.

Ad esempio, supponiamo che il 90% di tutti i giocatori non siano arruolati nella NBA. Se avessimo un modello che prevedesse semplicemente che ogni giocatore non sarebbe stato scelto per il draft, il modello predirebbe correttamente il risultato per il 90% dei giocatori.

Questo valore sembra elevato, ma in realtà il modello non è in grado di prevedere correttamente quali giocatori verranno scelti.

Una metrica alternativa spesso utilizzata è chiamata F1 Score , che tiene conto di come vengono distribuiti i dati.

Ad esempio, se i dati sono molto sbilanciati (ad esempio il 90% di tutti i giocatori non sono pescati e il 10% lo è), allora il punteggio F1 fornirà una migliore valutazione delle prestazioni del modello.

Scopri di più sulle differenze tra precisione e punteggio F1 qui .

Risorse addizionali

Le esercitazioni seguenti forniscono informazioni aggiuntive sui parametri utilizzati nei modelli di classificazione del machine learning:

Cos’è la precisione bilanciata?
Cosa è considerato un punteggio F1 “buono”?