Qual è considerato un buon valore rmse?

Un modo per valutare quanto bene un modello di regressione si adatta a un set di dati è calcolare l’ errore quadratico medio , che ci dice la distanza media tra i valori previsti del modello e i valori effettivi del set di dati. dati.

La formula per trovare l’errore quadratico medio, spesso abbreviata RMSE , è:

RMSE = √ Σ(P _i – O _i ) ² / n

Oro:

• Σ è un simbolo di fantasia che significa “somma”
• _Pi è il valore previsto per l’ ^iesima osservazione nel set di dati
• O _i è il valore osservato per l’ ^iesima osservazione nel set di dati
• n è la dimensione del campione

Una domanda che le persone spesso pongono è: qual è un buon valore RMSE?

La risposta breve: dipende .

Più basso è l’RMSE, migliore è la capacità di un dato modello di “adattarsi” a un set di dati. Tuttavia, l’intervallo del set di dati con cui stai lavorando è importante per determinare se un determinato valore RMSE è “basso” o meno.

Ad esempio, considera i seguenti scenari:

Scenario 1: Vorremmo utilizzare un modello di regressione per prevedere il prezzo delle case in una determinata città. Supponiamo che il modello abbia un valore RMSE di $ 500. Poiché la fascia di prezzo tipica della casa è compresa tra $ 70.000 e $ 300.000, questo valore RMSE è estremamente basso. Questo ci dice che il modello è in grado di prevedere con precisione i prezzi degli immobili.

Scenario 2: Supponiamo ora di voler utilizzare un modello di regressione per prevedere quanto spenderà una persona al mese in una determinata città. Supponiamo che il modello abbia un valore RMSE di $ 500. Se l’intervallo di spesa mensile tipico è compreso tra $ 1.500 e $ 4.000, questo valore RMSE è piuttosto alto. Questo ci dice che il modello non è in grado di prevedere le spese mensili con molta precisione.

Questi semplici esempi mostrano che non esiste un valore RMSE “buono” universale. Tutto dipende dall’intervallo di valori del set di dati con cui stai lavorando.

Normalizzazione del valore RMSE

Un modo per capire meglio se un certo valore RMSE è “buono” è normalizzarlo utilizzando la seguente formula:

RMSE normalizzato = RMSE / (valore massimo – valore minimo)

Ciò produce un valore compreso tra 0 e 1, dove i valori più vicini a 0 rappresentano modelli con migliore adattamento.

Ad esempio, supponiamo che il nostro valore RMSE sia $ 500 e che il nostro intervallo di valori sia compreso tra $ 70.000 e $ 300.000. Calcoleremo il valore RMSE normalizzato come segue:

• RMSE normalizzato = $ 500 / ($ 300.000 – $ 70.000) = 0,002

Al contrario, supponiamo che il nostro valore RMSE sia $ 500 e che il nostro intervallo di valori sia compreso tra $ 1.500 e $ 4.000. Calcoleremo il valore RMSE normalizzato come segue:

• RMSE normalizzato = $ 500 / ($ 4.000 – $ 1.500) = 0,2 .

Il primo valore RMSE normalizzato è molto più basso, indicando che fornisce un adattamento molto migliore ai dati rispetto al secondo valore RMSE normalizzato.

Confronto di RMSE tra modelli

Invece di scegliere un numero arbitrario per rappresentare un valore RMSE “buono”, possiamo semplicemente confrontare i valori RMSE di più modelli.

Ad esempio, supponiamo di adattare tre diversi modelli di regressione per prevedere i prezzi degli immobili. Supponiamo che i tre modelli abbiano i seguenti valori RMSE:

• RMSE del modello 1: $ 550
• RMSE del modello 2: $ 480
• RMSE modello 3: $ 1.400

Poiché il valore RMSE del Modello 2 è il più basso, selezioneremo il Modello 2 come modello migliore per prevedere i prezzi immobiliari poiché la distanza media tra i prezzi previsti e quelli effettivi è più bassa per questo modello.

Risorse addizionali

Come interpretare l’RMSE
Come calcolare l’RMSE in Excel
Come calcolare l’RMSE in R
Come calcolare l’RMSE in Python
Calcolatore RMSE