Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n De waarden van \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> worden gekozen met behulp van de kleinste kwadratenmethode, die de som van de kwadraten van de residuen (RSS) minimaliseert:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n Een probleem dat zich in de praktijk vaak voordoet bij meervoudige lineaire regressie is multicollineariteit<\/a> \u2013 wanneer twee of meer voorspellende variabelen sterk met elkaar gecorreleerd zijn, zodat ze geen unieke of onafhankelijke informatie verschaffen in het regressiemodel.<\/span><\/p>\n Dit kan schattingen van modelco\u00ebffici\u00ebnten onbetrouwbaar maken en een hoge variantie vertonen. Dat wil zeggen dat wanneer het model wordt toegepast op een nieuwe dataset die het nog nooit eerder heeft gezien, het waarschijnlijk slecht zal presteren.<\/span><\/p>\n Twee methoden die we kunnen gebruiken om dit multicollineariteitsprobleem te omzeilen zijn ridge-regressie<\/strong> en lasso-regressie<\/strong> .<\/span><\/p>\n Ridge-regressie<\/strong> probeert het volgende te minimaliseren:<\/span><\/p>\n Lasso-regressie<\/strong> probeert het volgende te minimaliseren:<\/span><\/p>\n In beide vergelijkingen wordt de tweede term de opnameboete<\/em> genoemd.<\/span><\/p>\n Wanneer \u03bb = 0 heeft deze strafterm geen effect en leveren ridge-regressie en lasso-regressie dezelfde co\u00ebffici\u00ebntschattingen op als de kleinste kwadraten.<\/span><\/p>\n Naarmate \u03bb het oneindige nadert, wordt de krimp echter invloedrijker en nemen voorspellende variabelen die niet in het model kunnen worden ge\u00efmporteerd, af richting nul.<\/span><\/p>\n Met Lasso-regressie is het mogelijk dat sommige co\u00ebffici\u00ebnten volledig nul<\/em> worden wanneer \u03bb groot genoeg wordt.<\/span><\/p>\n Het voordeel<\/strong> van Ridge- en Lasso-regressie ten opzichte van regressie met de kleinste kwadraten is de afweging tussen bias en variantie<\/a> .<\/span><\/p>\n Bedenk dat Mean Square Error (MSE) een metriek is die we kunnen gebruiken om de nauwkeurigheid van een bepaald model te meten en die als volgt wordt berekend:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Variantie + Bias 2<\/sup> + Onherleidbare fout<\/span><\/p>\n Het basisidee van Ridge Regressie en Lasso Regressie is om een kleine vertekening te introduceren, zodat de variantie aanzienlijk kan worden verminderd, wat leidt tot een lagere algehele MSE.<\/span><\/p>\n Om dit te illustreren, bekijken we de volgende grafiek:<\/span> <\/p>\n Merk op dat naarmate \u03bb toeneemt, de variantie aanzienlijk afneemt met een zeer kleine toename van de bias. Vanaf een bepaald punt neemt de variantie echter minder snel af en leidt de afname van de co\u00ebffici\u00ebnten tot een significante onderschatting ervan, wat leidt tot een scherpe toename van de bias.<\/span><\/p>\n We kunnen uit de grafiek zien dat de MSE van de test het laagst is als we een waarde voor \u03bb kiezen die een optimale afweging tussen vertekening en variantie oplevert.<\/span><\/p>\n Wanneer \u03bb = 0 heeft de strafterm bij lasso-regressie geen effect en levert daarom dezelfde co\u00ebffici\u00ebntschattingen op als de kleinste kwadraten.<\/span> Door \u03bb echter tot een bepaald punt te verhogen, kunnen we de algehele MSE van de test verminderen.<\/span> <\/p>\n Dit betekent dat modelaanpassing door middel van ridge- en lasso-regressie mogelijk kleinere testfouten kan opleveren dan modelaanpassing door middel van regressie met de kleinste kwadraten.<\/span><\/p>\n Het nadeel<\/strong> van Ridge- en Lasso-regressie is dat het moeilijk wordt om de co\u00ebffici\u00ebnten in het uiteindelijke model te interpreteren naarmate ze kleiner worden richting nul.<\/span><\/p>\n Ridge- en Lasso-regressie moet dus worden gebruikt als u het voorspellende vermogen wilt optimaliseren in plaats van gevolgtrekkingen.<\/span><\/p>\n Lasso-regressie en ridge-regressie staan bekend als regularisatiemethoden<\/em> omdat ze beide proberen de resterende kwadratensom (RSS) en een bepaalde strafterm te minimaliseren.<\/span><\/p>\n Met andere woorden, ze beperken of regulariseren<\/em> de schattingen van de modelco\u00ebffici\u00ebnten.<\/span><\/p>\n Dit roept uiteraard de vraag op: is ridge- of lasso-regressie beter?<\/strong><\/span><\/p>\n In gevallen waarin slechts een klein aantal voorspellende variabelen significant is, werkt lasso-regressie<\/strong> doorgaans beter omdat het in staat is om onbelangrijke variabelen volledig tot nul terug te brengen en ze uit het model te verwijderen.<\/span><\/p>\n Wanneer echter veel voorspellende variabelen significant zijn in het model en hun co\u00ebffici\u00ebnten ongeveer gelijk zijn, werkt nokregressie<\/strong> meestal beter omdat alle voorspellers in het model blijven.<\/span><\/p>\n Om te bepalen welk model het beste is voor het maken van voorspellingen, voeren we doorgaans k-voudige kruisvalidatie<\/a> uit en kiezen we het model dat de laagste gemiddelde kwadratische fout oplevert.<\/span><\/p>\n De volgende tutorials bieden een inleiding tot Ridge Regressie en Lasso Regressie:<\/span><\/p>\n In de volgende tutorials wordt uitgelegd hoe u beide typen regressie in R en Python kunt uitvoeren:<\/span><\/p>\n Bij gewone meervoudige lineaire regressie gebruiken we een reeks p- voorspellingsvariabelen en een responsvariabele om in een model van de vorm te passen: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p De waarden van \u03b2 0 , \u03b2 1 , B 2 , \u2026, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-2118","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n\n
Het probleem van multicollineariteit bij regressie<\/span><\/strong><\/h3>\n
Multicollineariteit vermijden: Ridge & Lasso-regressie<\/strong><\/span><\/h3>\n
\n
\n
Voor- en nadelen van Ridge & Lasso-regressie<\/strong><\/span><\/h3>\n
![\"Ridge](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Lasso-regressie-bias-variantie-afweging\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Ridge versus. Lasso-regressie: wanneer moet u ze gebruiken?<\/strong><\/span><\/h3>\n
Aanvullende bronnen<\/strong><\/span><\/h3>\n
\n
\n