Wat wordt als een goede rmse-waarde beschouwd?

Een manier om te evalueren hoe goed een regressiemodel bij een dataset past, is door de gemiddelde kwadratische fout te berekenen, die ons de gemiddelde afstand vertelt tussen de voorspelde waarden van het model en de werkelijke waarden van de dataset. gegevens.

De formule voor het vinden van de gemiddelde kwadratische fout, vaak afgekort als RMSE , is:

RMSE = √ Σ(P _ik – O _ik ) ² / n

Goud:

• Σ is een mooi symbool dat ‘som’ betekent
• _Pi is de voorspelde waarde voor de ^i- de waarneming in de dataset
• O _i is de waargenomen waarde voor de ^i- de waarneming in de dataset
• n is de steekproefomvang

Een vraag die mensen vaak stellen is: wat is een goede RMSE-waarde?

Het korte antwoord: het hangt ervan af .

Hoe lager de RMSE, hoe beter een bepaald model in een dataset kan ‘passen’. Het bereik van de dataset waarmee u werkt, is echter belangrijk bij het bepalen of een bepaalde RMSE-waarde ‚laag‘ is of niet.

Neem bijvoorbeeld de volgende scenario’s:

Scenario 1: We willen graag een regressiemodel gebruiken om de prijs van huizen in een bepaalde stad te voorspellen. Stel dat het model een RMSE-waarde van $ 500 heeft. Aangezien de typische huizenprijs tussen $ 70.000 en $ 300.000 ligt, is deze RMSE-waarde extreem laag. Dit vertelt ons dat het model vastgoedprijzen nauwkeurig kan voorspellen.

Scenario 2: Stel nu dat we een regressiemodel willen gebruiken om te voorspellen hoeveel iemand per maand in een bepaalde stad zal uitgeven. Stel dat het model een RMSE-waarde van $ 500 heeft. Als het typische maandelijkse bestedingsbereik tussen $ 1.500 en $ 4.000 ligt, is deze RMSE-waarde behoorlijk hoog. Dit vertelt ons dat het model de maandelijkse uitgaven niet met veel nauwkeurigheid kan voorspellen.

Deze eenvoudige voorbeelden laten zien dat er geen universele “goede” RMSE-waarde bestaat. Het hangt allemaal af van het waardebereik van de dataset waarmee u werkt.

Normalisatie van de RMSE-waarde

Eén manier om beter te begrijpen of een bepaalde RMSE-waarde ‚goed‘ is, is door deze te normaliseren met behulp van de volgende formule:

Genormaliseerde RMSE = RMSE / (maximumwaarde – minimumwaarde)

Dit levert een waarde op tussen 0 en 1, waarbij waarden dichter bij 0 beter passende modellen vertegenwoordigen.

Laten we bijvoorbeeld zeggen dat onze RMSE-waarde €500 is en ons waardebereik €70.000 tot €300.000 is. We zouden de genormaliseerde RMSE-waarde als volgt berekenen:

• Genormaliseerde RMSE = $500 / ($300.000 – $70.000) = 0,002

Laten we omgekeerd aannemen dat onze RMSE-waarde €500 is en dat ons waardebereik tussen €1500 en €4000 ligt. We zouden de genormaliseerde RMSE-waarde als volgt berekenen:

• Genormaliseerde RMSE = $500 / ($4.000 – $1.500) = 0,2 .

De eerste genormaliseerde RMSE-waarde is veel lager, wat aangeeft dat deze veel beter aansluit bij de gegevens vergeleken met de tweede genormaliseerde RMSE-waarde.

Vergelijking van RMSE tussen modellen

In plaats van een willekeurig getal te kiezen dat een ‘goede’ RMSE-waarde vertegenwoordigt, kunnen we eenvoudigweg de RMSE-waarden van meerdere modellen vergelijken.

Stel dat we drie verschillende regressiemodellen gebruiken om vastgoedprijzen te voorspellen. Stel dat de drie modellen de volgende RMSE-waarden hebben:

• Model 1 RMSE: $ 550
• Model 2 RMSE: $ 480
• Model 3 RMSE: $ 1.400

Omdat de RMSE-waarde van Model 2 de laagste is, zouden we Model 2 selecteren als het beste model om vastgoedprijzen te voorspellen, aangezien de gemiddelde afstand tussen voorspelde en werkelijke prijzen voor dit model het laagst is.

Aanvullende bronnen

Hoe de RMSE te interpreteren
Hoe RMSE in Excel te berekenen
Hoe RMSE in R te berekenen
Hoe RMSE in Python te berekenen
RMSE-calculator