Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n De waarden van \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> worden gekozen met behulp van de kleinste kwadratenmethode<\/strong> , die de som van de kwadraten van de residuen (RSS) minimaliseert:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n Wanneer voorspellende variabelen echter sterk gecorreleerd zijn, kan multicollineariteit<\/a> een probleem worden. Dit kan schattingen van modelco\u00ebffici\u00ebnten onbetrouwbaar maken en een hoge variantie vertonen. Dat wil zeggen dat wanneer het model wordt toegepast op een nieuwe dataset die het nog nooit eerder heeft gezien, het waarschijnlijk slecht zal presteren.<\/span><\/p>\n E\u00e9n manier om dit probleem te omzeilen is door een methode te gebruiken die bekend staat als lasso regressie<\/strong> , die in plaats daarvan het volgende probeert te minimaliseren:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n waarbij j<\/em> van 1 naar p<\/em> gaat en \u03bb \u2265 0.<\/span><\/p>\n Deze tweede term in de vergelijking staat bekend als de opnameboete<\/em> .<\/span><\/p>\n Wanneer \u03bb = 0 heeft deze strafterm geen effect en levert lasso-regressie dezelfde co\u00ebffici\u00ebntschattingen op als de kleinste kwadraten.<\/span><\/p>\n Naarmate \u03bb echter de oneindigheid nadert, wordt de verwijderingsstraf invloedrijker en worden voorspellende variabelen die niet in het model ge\u00efmporteerd kunnen worden, tot nul teruggebracht en sommige zelfs uit het model verwijderd.<\/span><\/p>\n Het voordeel van lasso-regressie ten opzichte van regressie met de kleinste kwadraten is de afweging tussen bias en variantie<\/a> .<\/span><\/p>\n Bedenk dat Mean Square Error (MSE) een metriek is die we kunnen gebruiken om de nauwkeurigheid van een bepaald model te meten en die als volgt wordt berekend:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Variantie + Bias 2<\/sup> + Onherleidbare fout<\/span><\/p>\n Het basisidee van lasso-regressie is om een kleine vertekening te introduceren, zodat de variantie aanzienlijk kan worden verminderd, wat leidt tot een lagere algehele MSE.<\/span><\/p>\n Om dit te illustreren, bekijken we de volgende grafiek:<\/span> <\/p>\n Merk op dat naarmate \u03bb toeneemt, de variantie aanzienlijk afneemt met een zeer kleine toename van de bias. Vanaf een bepaald punt neemt de variantie echter minder snel af en leidt de afname van de co\u00ebffici\u00ebnten tot een significante onderschatting ervan, wat leidt tot een scherpe toename van de bias.<\/span><\/p>\n We kunnen uit de grafiek zien dat de MSE van de test het laagst is als we een waarde voor \u03bb kiezen die een optimale afweging tussen vertekening en variantie oplevert.<\/span><\/p>\n Wanneer \u03bb = 0 heeft de strafterm bij lasso-regressie geen effect en levert daarom dezelfde co\u00ebffici\u00ebntschattingen op als de kleinste kwadraten. Door \u03bb echter tot een bepaald punt te verhogen, kunnen we de algehele MSE van de test verminderen.<\/span> <\/p>\n Dit betekent dat modelaanpassing door middel van lasso-regressie kleinere testfouten zal opleveren dan modelaanpassing door middel van kleinste-kwadratenregressie.<\/span><\/p>\n Lasso-regressie en Ridge-regressie<\/a> staan beide bekend als regularisatiemethoden<\/em> omdat ze allebei proberen de resterende kwadratensom (RSS) en een bepaalde strafterm te minimaliseren.<\/span><\/p>\n Met andere woorden, ze beperken of regulariseren<\/em> de schattingen van de modelco\u00ebffici\u00ebnten.<\/span><\/p>\n De strafvoorwaarden die zij gebruiken zijn echter iets anders:<\/span><\/p>\n Wanneer we ridge-regressie gebruiken, worden de co\u00ebffici\u00ebnten van elke voorspeller teruggebracht tot nul, maar geen enkele kan volledig naar nul<\/em> gaan.<\/span><\/p>\n Omgekeerd, als we lasso-regressie gebruiken, is het mogelijk dat sommige co\u00ebffici\u00ebnten volledig nul<\/em> worden als \u03bb groot genoeg wordt.<\/span><\/p>\n In technische termen is lasso-regressie in staat \u2018sparse\u2019 modellen te produceren, dat wil zeggen modellen die slechts een subset van voorspellende variabelen bevatten.<\/span><\/p>\n Dit roept de vraag op: is ridge-regressie of lasso-regressie beter?<\/strong><\/span><\/p>\n Het antwoord: het hangt ervan af!<\/span><\/p>\n In gevallen waarin slechts een klein aantal voorspellende variabelen significant is, werkt lasso-regressie doorgaans beter omdat het in staat is om onbelangrijke variabelen volledig tot nul terug te brengen en ze uit het model te verwijderen.<\/span><\/p>\n Wanneer echter veel voorspellende variabelen significant zijn in het model en hun co\u00ebffici\u00ebnten ongeveer gelijk zijn, werkt nokregressie meestal beter omdat alle voorspellers in het model blijven.<\/span><\/p>\n Om te bepalen welk model het meest effectief is in het maken van voorspellingen, voeren we k-voudige kruisvalidatie<\/a> uit. Welk model ook de laagste gemiddelde kwadratische fout (MSE) oplevert, is het beste model om te gebruiken.<\/span><\/p>\n De volgende stappen kunnen worden gebruikt om een lasso-regressie uit te voeren:<\/span><\/p>\n Stap 1: Bereken de correlatiematrix en VIF-waarden voor de voorspellende variabelen.<\/strong><\/span><\/p>\n Eerst moeten we een correlatiematrix<\/a> maken en de VIF-waarden (variantie-inflatiefactor)<\/a> voor elke voorspellende variabele berekenen.<\/span><\/p>\n Als we een sterke correlatie detecteren tussen de voorspellende variabelen en hoge VIF-waarden (sommige teksten defini\u00ebren een „hoge“ VIF-waarde als 5, terwijl andere 10 gebruiken), dan is lasso-regressie waarschijnlijk geschikt.<\/span><\/p>\n Als er echter geen multicollineariteit in de gegevens aanwezig is, is het wellicht niet nodig om lasso-regressie uit te voeren. In plaats daarvan kunnen we gewone regressie met de kleinste kwadraten uitvoeren.<\/span><\/p>\n Stap 2: Pas het lasso-regressiemodel aan en kies een waarde voor \u03bb.<\/strong><\/span><\/p>\n Zodra we hebben vastgesteld dat lasso-regressie geschikt is, kunnen we het model aanpassen (met behulp van populaire programmeertalen zoals R of Python) met behulp van de optimale waarde voor \u03bb.<\/span><\/p>\n Om de optimale waarde voor \u03bb te bepalen, kunnen we meerdere modellen fitten met verschillende waarden voor \u03bb en \u03bb kiezen als de waarde die de laagste MSE-test oplevert.<\/span><\/p>\n Stap 3: Vergelijk lasso-regressie met ridge-regressie en gewone regressie met de kleinste kwadraten.<\/strong><\/span><\/p>\n Ten slotte kunnen we ons lasso-regressiemodel vergelijken met een ridge-regressiemodel en een kleinste kwadraten-regressiemodel om te bepalen welk model de laagste MSE-test oplevert met behulp van k-voudige kruisvalidatie.<\/span><\/p>\n Afhankelijk van de relatie tussen de voorspellende variabelen en de responsvariabele is het heel goed mogelijk dat een van deze drie modellen in verschillende scenario’s beter presteert dan de andere.<\/span><\/p>\n In de volgende tutorials wordt uitgelegd hoe u lasso-regressie uitvoert in R en Python:<\/span><\/p>\n Lasso-regressie in R (stap voor stap)<\/a> Bij gewone meervoudige lineaire regressie gebruiken we een reeks p- voorspellingsvariabelen en een responsvariabele om in een model van de vorm te passen: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Goud: Y : De responsvariabele Xj : de j -de voorspellende variabele \u03b2j […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1196","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n\n
\n
Waarom Lasso-regressie gebruiken?<\/strong><\/span><\/h3>\n
![\"Ridge](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Lasso-regressie-bias-variantie-afweging\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Lasso-regressie versus Ridge-regressie<\/strong><\/span><\/h3>\n
\n
Stappen om een lasso-regressie in de praktijk uit te voeren<\/strong><\/span><\/h3>\n
Lasso-regressie in R & Python<\/strong><\/span><\/h3>\n
Lasso-regressie in Python (stap voor stap)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"