In een notendop probeert regressie met de kleinste kwadraten co\u00ebffici\u00ebntschattingen te vinden die de resterende som van de kwadraten (RSS) minimaliseren:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> )2<\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n Omgekeerd probeert lasso-regressie het volgende te minimaliseren:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n waarbij j<\/em> van 1 naar p<\/em> voorspellende variabelen gaat en \u03bb \u2265 0.<\/span><\/p>\n Deze tweede term in de vergelijking staat bekend als de opnameboete<\/em> . Bij lasso-regressie selecteren we een waarde voor \u03bb die de laagst mogelijke MSE-test (mean square error) oplevert.<\/span><\/p>\n Deze tutorial biedt een stapsgewijs voorbeeld van hoe u een lasso-regressie uitvoert in R.<\/span><\/p>\n Voor dit voorbeeld gebruiken we de ingebouwde dataset van R, genaamd mtcars<\/strong> . We zullen hp<\/strong> gebruiken als de responsvariabele en de volgende variabelen als voorspellers:<\/span><\/p>\n Om lasso-regressie uit te voeren, zullen we functies uit het glmnet-<\/strong> pakket gebruiken. Dit pakket vereist dat de responsvariabele<\/a> een vector is en dat de set voorspellende variabelen van de klasse data.matrix<\/strong> is.<\/span><\/p>\n De volgende code laat zien hoe u onze gegevens kunt defini\u00ebren:<\/span><\/p>\n Vervolgens zullen we de functie glmnet()<\/strong> gebruiken om het lasso-regressiemodel aan te passen en alpha=1<\/strong> te specificeren.<\/span><\/p>\n Houd er rekening mee dat het instellen van alfa op 0 gelijk is aan het gebruik van nokregressie<\/a> en het instellen van alfa op een waarde tussen 0 en 1 gelijk is aan het gebruik van een elastisch net.<\/span> <\/strong><\/span><\/p>\n Om te bepalen welke waarde we voor lambda moeten gebruiken, zullen we k-voudige kruisvalidatie<\/a> uitvoeren en de lambda-waarde identificeren die de laagste testgemiddelde kwadratische fout (MSE) oplevert.<\/span><\/p>\n Merk op dat de functie cv.glmnet()<\/strong> automatisch een k-voudige kruisvalidatie uitvoert met behulp van k = 10 keer.<\/span> <\/p>\n De lambdawaarde die de MSE-test minimaliseert blijkt 5,616345<\/strong> te zijn.<\/span><\/p>\n Ten slotte kunnen we het uiteindelijke model analyseren dat wordt geproduceerd door de optimale lambdawaarde.<\/span><\/p>\n We kunnen de volgende code gebruiken om de co\u00ebffici\u00ebntschattingen voor dit model te verkrijgen:<\/span><\/p>\n Er wordt geen co\u00ebffici\u00ebnt weergegeven voor de drat-<\/strong> voorspeller omdat lasso-regressie de co\u00ebffici\u00ebnt tot nul heeft teruggebracht. Dit betekent dat hij volledig uit het model werd verwijderd omdat hij niet genoeg invloed had.<\/span><\/p>\n Merk op dat dit een belangrijk verschil is tussen ridge-regressie<\/a> en lasso-regressie<\/a> . Ridge-regressie reduceert alle co\u00ebffici\u00ebnten naar<\/em> nul, maar lasso-regressie heeft het potentieel om voorspellers uit het model te verwijderen door de co\u00ebffici\u00ebnten volledig<\/em> tot nul terug te brengen.<\/span><\/p>\n We kunnen het uiteindelijke lasso-regressiemodel ook gebruiken om voorspellingen te doen over nieuwe waarnemingen. Stel dat we een nieuwe auto hebben met de volgende kenmerken:<\/span><\/p>\n De volgende code laat zien hoe u het gepaste lasso-regressiemodel kunt gebruiken om de pk-<\/em> waarde van deze nieuwe waarneming te voorspellen:<\/span><\/p>\n Op basis van de ingevoerde waarden voorspelt het model dat deze auto een pk-<\/em> waarde van 109,0842<\/strong> zal hebben.<\/span><\/p>\n\n
Stap 1: Gegevens laden<\/strong><\/span><\/h3>\n
\n
#define response variable<\/span>\ny <- mtcars$hp\n\n#define matrix of predictor variables\n<\/span>x <- data.matrix(mtcars[, c('mpg', 'wt', 'drat', 'qsec')])\n<\/strong><\/span><\/pre>\n Stap 2: Pas het Lasso-regressiemodel toe<\/strong><\/span><\/h3>\n
library<\/span> (glmnet)<\/span>\n\n#perform k-fold cross-validation to find optimal lambda value\n<\/span>cv_model <- cv. glmnet<\/span> (x, y, alpha = 1<\/span> )\n\n#find optimal lambda value that minimizes test MSE\n<\/span>best_lambda <- cv_model$ lambda<\/span> . min<\/span>\nbest_lambda\n\n[1] 5.616345\n\n#produce plot of test MSE by lambda value<\/span>\nplot(cv_model) \n<\/strong><\/span><\/pre>\n![\"MSE](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lassor1.png\")
<\/p>\n Stap 3: Analyseer het uiteindelijke model<\/strong><\/span><\/h3>\n
#find coefficients of best model\n<\/span>best_model <- glmnet(x, y, alpha = 1<\/span> , lambda = best_lambda)\ncoef(best_model)\n\n5 x 1 sparse Matrix of class \"dgCMatrix\"\n s0\n(Intercept) 484.20742\nmpg -2.95796\nwt 21.37988\ndrat. \nqsec -19.43425<\/strong><\/span><\/pre>\n\n
#define new observation\n<\/span>new = matrix(c(24, 2.5, 3.5, 18.5), nrow= 1<\/span> , ncol= 4<\/span> ) \n\n#use lasso regression model to predict response value\n<\/span>predict(best_model, s = best_lambda, newx = new)\n\n[1,] 109.0842<\/strong><\/span><\/pre>\n