Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n De waarden van \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> worden gekozen met behulp van de kleinste kwadratenmethode<\/strong> , die de som van de kwadraten van de residuen (RSS) minimaliseert:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n Wanneer voorspellende variabelen echter sterk gecorreleerd zijn, kan multicollineariteit<\/a> een probleem worden. Dit kan schattingen van modelco\u00ebffici\u00ebnten onbetrouwbaar maken en een hoge variantie vertonen.<\/span><\/p>\n E\u00e9n manier om dit probleem te omzeilen zonder bepaalde voorspellende variabelen volledig uit het model te verwijderen, is door een methode te gebruiken die bekend staat als ridge regressie<\/strong> , die in plaats daarvan het volgende probeert te minimaliseren:<\/span><\/p>\n RSS + \u03bb\u03a3\u03b2 j<\/sub> 2<\/sup><\/strong><\/span><\/p>\n waarbij j<\/em> van 1 naar p<\/em> gaat en<\/span> \u03bb \u2265 0.<\/span><\/p>\n Deze tweede term in de vergelijking staat bekend als de opnameboete<\/em> .<\/span><\/p>\n Wanneer \u03bb = 0 heeft deze strafterm geen effect en levert nokregressie dezelfde co\u00ebffici\u00ebntschattingen op als de kleinste kwadraten. Naarmate \u03bb het oneindige nadert, wordt de krimp echter steeds invloedrijker en naderen de schattingen van de piekregressieco\u00ebffici\u00ebnt nul.<\/span><\/p>\n Over het algemeen zullen de minst invloedrijke voorspellende variabelen in het model het snelst naar nul dalen.<\/span><\/p>\n Het voordeel van Ridge-regressie ten opzichte van regressie met de kleinste kwadraten is de afweging tussen bias en variantie<\/a> .<\/span><\/p>\n Bedenk dat Mean Square Error (MSE) een metriek is die we kunnen gebruiken om de nauwkeurigheid van een bepaald model te meten en die als volgt wordt berekend:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Variantie + Bias 2<\/sup> + Onherleidbare fout<\/span><\/p>\n Het basisidee van Ridge-regressie is om een kleine vertekening te introduceren, zodat de variantie aanzienlijk kan worden verminderd, wat leidt tot een lagere algehele MSE.<\/span><\/p>\n Om dit te illustreren, bekijken we de volgende grafiek:<\/span> <\/p>\n Merk op dat naarmate \u03bb toeneemt, de variantie aanzienlijk afneemt met een zeer kleine toename van de bias. Vanaf een bepaald punt neemt de variantie echter minder snel af en leidt de afname van de co\u00ebffici\u00ebnten tot een significante onderschatting ervan, wat leidt tot een scherpe toename van de bias.<\/span><\/p>\n We kunnen uit de grafiek zien dat de MSE van de test het laagst is als we een waarde voor \u03bb kiezen die een optimale afweging tussen vertekening en variantie oplevert.<\/span><\/p>\n Wanneer \u03bb = 0 heeft de strafterm in de nokregressie geen effect en levert daarom dezelfde co\u00ebffici\u00ebntschattingen op als de kleinste kwadraten. Door \u03bb echter tot een bepaald punt te verhogen, kunnen we de algehele MSE van de test verminderen.<\/span> <\/p>\n Dit betekent dat modelaanpassing door middel van ridge-regressie kleinere testfouten zal opleveren dan modelaanpassing door middel van kleinste-kwadratenregressie.<\/span><\/p>\n De volgende stappen kunnen worden gebruikt om nokregressie uit te voeren:<\/span><\/p>\n Stap 1: Bereken de correlatiematrix en VIF-waarden voor de voorspellende variabelen.<\/strong><\/span><\/p>\n Eerst moeten we een correlatiematrix<\/a> maken en de VIF-waarden (variantie-inflatiefactor)<\/a> voor elke voorspellende variabele berekenen.<\/span><\/p>\n Als we een sterke correlatie detecteren tussen de voorspellende variabelen en hoge VIF-waarden (sommige teksten defini\u00ebren een „hoge“ VIF-waarde als 5, terwijl andere 10 gebruiken), dan is randregressie waarschijnlijk geschikt.<\/span><\/p>\n Als er echter geen multicollineariteit in de gegevens aanwezig is, is het misschien niet nodig om ridge-regressie uit te voeren. In plaats daarvan kunnen we gewone regressie met de kleinste kwadraten uitvoeren.<\/span><\/p>\n Stap 2: Standaardiseer elke voorspellende variabele.<\/strong><\/span><\/p>\n Voordat we ridge-regressie uitvoeren, moeten we de gegevens zo schalen dat elke voorspellende variabele een gemiddelde van 0 en een standaarddeviatie van 1 heeft. Dit zorgt ervoor dat geen enkele voorspellende variabele een buitensporige invloed heeft bij het uitvoeren van een ridge-regressie.<\/span><\/p>\n Stap 3: Pas het nokregressiemodel aan en kies een waarde voor \u03bb.<\/strong><\/span><\/p>\n Er is geen exacte formule die we kunnen gebruiken om te bepalen welke waarde we voor \u03bb moeten gebruiken. In de praktijk zijn er twee veel voorkomende manieren om \u03bb te kiezen:<\/span><\/p>\n (1) Maak een Ridge-traceerplot.<\/strong> Dit is een grafiek die de waarden van de co\u00ebffici\u00ebntschattingen visualiseert naarmate \u03bb toeneemt richting oneindig. Meestal kiezen we \u03bb als de waarde waarbij de meeste co\u00ebffici\u00ebntschattingen beginnen te stabiliseren.<\/span> <\/p>\n (2) Bereken de MSE-test voor elke waarde van \u03bb.<\/strong><\/span><\/p>\n Een andere manier om \u03bb te kiezen is door eenvoudigweg de test-MSE van elk model met verschillende waarden van \u03bb te berekenen en \u03bb te kiezen als de waarde die de laagste test-MSE oplevert.<\/span><\/p>\n Het grootste voordeel<\/strong> van Ridge-regressie is het vermogen om een lagere testgemiddelde kwadratenfout (MSE) te produceren dan de kleinste kwadraten wanneer multicollineariteit aanwezig is.<\/span><\/p>\n Het grootste nadeel<\/strong> van Ridge-regressie is echter het onvermogen om variabelen te selecteren, aangezien alle voorspellende variabelen in het uiteindelijke model worden opgenomen. Omdat sommige voorspellers zeer dicht bij nul zullen worden teruggebracht, kan dit het moeilijk maken om de modelresultaten te interpreteren.<\/span><\/p>\n In de praktijk heeft Ridge-regressie het potentieel om een model te produceren dat betere voorspellingen kan doen vergeleken met een kleinste-kwadratenmodel, maar het is vaak moeilijker om de resultaten van het model te interpreteren.<\/span><\/p>\n Afhankelijk van of modelinterpretatie of voorspellingsnauwkeurigheid belangrijker voor u is, kunt u ervoor kiezen om in verschillende scenario’s gewone kleinste kwadraten of nokregressie te gebruiken.<\/span><\/p>\n In de volgende tutorials wordt uitgelegd hoe u ridge-regressie uitvoert in R en Python, de twee meest gebruikte talen voor het aanpassen van ridge-regressiemodellen:<\/span><\/p>\n Ridge-regressie in R (stap voor stap)<\/a> Bij gewone meervoudige lineaire regressie gebruiken we een reeks p- voorspellingsvariabelen en een responsvariabele om in een model van de vorm te passen: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Goud: Y : De responsvariabele Xj : de j -de voorspellende variabele \u03b2j […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1193","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n\n
\n
Waarom Ridge-regressie gebruiken?<\/strong><\/span><\/h3>\n
![\"Ridge](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Ridge](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete2.png\")
<\/p>\n Stappen om Ridge-regressie in de praktijk uit te voeren<\/strong><\/span><\/h3>\n
![\"Ridge](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete3.png\")
<\/p>\n Voor- en nadelen van Ridge-regressie<\/strong><\/span><\/h3>\n
Ridge-regressie in R & Python<\/strong><\/span><\/h3>\n
Ridge-regressie in Python (stap voor stap)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"