<\/p>\n
Een van de meest voorkomende problemen die u tegenkomt bij het maken van modellen is multicollineariteit<\/a> . Dit gebeurt wanneer twee of meer voorspellende variabelen in een dataset sterk gecorreleerd zijn.<\/span><\/p>\n Wanneer dit gebeurt, kan een bepaald model wellicht goed in een trainingsdataset passen, maar zal het waarschijnlijk slecht presteren op een nieuwe dataset die het nog nooit heeft gezien, omdat het te veel past in<\/a> de trainingsset.<\/span><\/p>\n E\u00e9n manier om overfitting te voorkomen, is door een soort subsetselectiemethode<\/strong> te gebruiken, zoals:<\/span><\/p>\n Deze methoden proberen irrelevante voorspellers uit het model te verwijderen, zodat alleen de belangrijkste voorspellers die variatie in de responsvariabele kunnen voorspellen in het uiteindelijke model overblijven.<\/span><\/p>\n Een andere manier om overfitting te voorkomen is het gebruik van een vorm van regularisatiemethode<\/strong> , zoals:<\/span><\/p>\n Deze methoden proberen de co\u00ebffici\u00ebnten van een model te beperken of te regulariseren<\/em> om de variantie te verminderen en zo modellen te produceren die goed kunnen generaliseren naar nieuwe gegevens.<\/span><\/p>\n Een geheel andere benadering van het omgaan met multicollineariteit staat bekend als dimensionale reductie<\/strong> .<\/span><\/p>\n Een gebruikelijke methode voor dimensiereductie staat bekend als hoofdcomponentregressie<\/strong> , die als volgt werkt:<\/span><\/p>\n 1.<\/strong> Stel dat een<\/sub> gegeven dataset p<\/em> voorspellers<\/sub> bevat :<\/sub><\/span><\/p>\n 2.<\/strong> Bereken Z 1<\/sub> , \u2026 , Z M<\/sub> als de M<\/em> lineaire combinaties van de oorspronkelijke p-<\/em> voorspellers.<\/span><\/p>\n 3.<\/strong> Gebruik de kleinste kwadratenmethode om een lineair regressiemodel te fitten met behulp van de eerste M<\/em> hoofdcomponenten Z 1<\/sub> , \u2026, Z M<\/sub> als voorspellers.<\/span><\/p>\n De term dimensiereductie<\/strong> komt voort uit het feit dat deze methode alleen M+1-co\u00ebffici\u00ebnten moet schatten in plaats van p+1-co\u00ebffici\u00ebnten, waarbij M < p.<\/span><\/p>\n Met andere woorden: de dimensie<\/em> van het probleem is teruggebracht van p+1 naar M+1.<\/span><\/p>\n In veel gevallen waarin multicollineariteit aanwezig is in een dataset, kan hoofdcomponentregressie een model produceren dat beter kan generaliseren naar nieuwe gegevens dan conventionele meervoudige lineaire regressie<\/a> .<\/span><\/p>\n In de praktijk worden de volgende stappen gebruikt om hoofdcomponentenregressie uit te voeren:<\/span><\/p>\n 1. Standaardiseer de voorspellers.<\/strong><\/span><\/p>\n Ten eerste standaardiseren we de gegevens doorgaans zo dat elke voorspellende variabele een gemiddelde waarde van 0 en een standaarddeviatie van 1 heeft. Dit voorkomt dat \u00e9\u00e9n voorspeller te veel invloed heeft, vooral als deze in verschillende eenheden wordt gemeten (c dat wil zeggen, als 1<\/sub> wordt gemeten in inches). en X2<\/sub> wordt gemeten in yards).<\/span><\/p>\n 2. Bereken de hoofdcomponenten en voer een lineaire regressie uit, waarbij u de hoofdcomponenten als voorspellers gebruikt.<\/strong><\/span><\/p>\n Vervolgens berekenen we de hoofdcomponenten en gebruiken we de kleinste kwadratenmethode om een lineair regressiemodel te fitten met behulp van de eerste M<\/em> hoofdcomponenten Z 1<\/sub> , \u2026, Z M<\/sub> als voorspellers.<\/span><\/p>\n 3. Bepaal hoeveel belangrijke componenten je wilt behouden.<\/strong><\/span><\/p>\n Vervolgens gebruiken we k-voudige kruisvalidatie<\/a> om het optimale aantal hoofdcomponenten te vinden dat we in het model kunnen behouden. Het \u201coptimale\u201d aantal te behouden hoofdcomponenten is doorgaans het getal dat de laagste gemiddelde kwadratische fout (MSE) van de test oplevert.<\/span><\/p>\n Principal Component Regressie (PCR) biedt de volgende voordelen<\/strong> :<\/span><\/p>\n PCR heeft echter een nadeel:<\/strong><\/span><\/p>\n In de praktijk passen we veel verschillende soorten modellen toe (PCR, Ridge, Lasso, meervoudige lineaire regressie, enz.) en gebruiken we k-voudige kruisvalidatie om het model te identificeren dat de laagste MSE-test op de nieuwe gegevens oplevert.<\/span><\/p>\n In gevallen waarin multicollineariteit aanwezig is in de oorspronkelijke dataset (wat vaak het geval is), heeft PCR de neiging beter te presteren dan gewone regressie met de kleinste kwadraten. Het is echter een goed idee om verschillende modellen te gebruiken, zodat u kunt bepalen welk model het beste generaliseert naar ongeziene gegevens.<\/span><\/p>\n De volgende zelfstudies laten zien hoe u regressie van hoofdcomponenten uitvoert in R en Python:<\/span><\/p>\n Hoofdcomponentregressie in R (stap voor stap)<\/a> Een van de meest voorkomende problemen die u tegenkomt bij het maken van modellen is multicollineariteit . Dit gebeurt wanneer twee of meer voorspellende variabelen in een dataset sterk gecorreleerd zijn. Wanneer dit gebeurt, kan een bepaald model wellicht goed in een trainingsdataset passen, maar zal het waarschijnlijk slecht presteren op een nieuwe dataset die […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1201","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n\n
\n
\n
Stappen om hoofdcomponentregressie uit te voeren<\/strong><\/span><\/h3>\n
Voor- en nadelen van regressie van hoofdcomponenten<\/strong><\/span><\/h3>\n
\n
\n
Regressie van hoofdcomponenten in R en Python<\/strong><\/span><\/h3>\n
Regressie van hoofdcomponenten in Python (stap voor stap)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"