Kurz gesagt versucht die Regression der kleinsten Quadrate, Koeffizientensch\u00e4tzungen zu finden, die die verbleibende Quadratsumme (RSS) minimieren:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> )2<\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Umgekehrt versucht die Lasso-Regression Folgendes zu minimieren:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n wobei j<\/em> von 1 zu p<\/em> Pr\u00e4diktorvariablen geht und \u03bb \u2265 0 ist.<\/span><\/p>\n Dieser zweite Term in der Gleichung wird als Auszahlungsstrafe<\/em> bezeichnet. Bei der Lasso-Regression w\u00e4hlen wir einen Wert f\u00fcr \u03bb, der den niedrigstm\u00f6glichen MSE-Test (mittlerer quadratischer Fehler) ergibt.<\/span><\/p>\n Dieses Tutorial bietet ein schrittweises Beispiel f\u00fcr die Durchf\u00fchrung einer Lasso-Regression in R.<\/span><\/p>\n F\u00fcr dieses Beispiel verwenden wir den integrierten Datensatz von R namens mtcars<\/strong> . Wir werden hp<\/strong> als Antwortvariable und die folgenden Variablen als Pr\u00e4diktoren verwenden:<\/span><\/p>\n Um eine Lasso-Regression durchzuf\u00fchren, verwenden wir Funktionen aus dem glmnet-<\/strong> Paket. Dieses Paket erfordert, dass die Antwortvariable<\/a> ein Vektor ist und dass der Satz von Pr\u00e4diktorvariablen der Klasse data.matrix<\/strong> angeh\u00f6rt.<\/span><\/p>\n Der folgende Code zeigt, wie wir unsere Daten definieren:<\/span><\/p>\n Als n\u00e4chstes verwenden wir die Funktion glmnet()<\/strong> , um das Lasso-Regressionsmodell anzupassen und alpha=1<\/strong> anzugeben.<\/span><\/p>\n Beachten Sie, dass die Einstellung von Alpha auf 0 der Verwendung der Ridge-Regression<\/a> und die Einstellung von Alpha auf einen Wert zwischen 0 und 1 der Verwendung eines elastischen Netzes entspricht.<\/span> <\/strong><\/span><\/p>\n Um zu bestimmen, welcher Wert f\u00fcr Lambda verwendet werden soll, f\u00fchren wir eine k-fache Kreuzvalidierung<\/a> durch und identifizieren den Lambda-Wert, der den niedrigsten mittleren quadratischen Testfehler (MSE) erzeugt.<\/span><\/p>\n Beachten Sie, dass die Funktion cv.glmnet()<\/strong> automatisch eine k-fache Kreuzvalidierung mit k = 10 Mal durchf\u00fchrt.<\/span> <\/p>\n Der Lambda-Wert, der den MSE-Test minimiert, betr\u00e4gt 5,616345<\/strong> .<\/span><\/p>\n Schlie\u00dflich k\u00f6nnen wir das endg\u00fcltige Modell analysieren, das durch den optimalen Lambda-Wert erzeugt wird.<\/span><\/p>\n Wir k\u00f6nnen den folgenden Code verwenden, um die Koeffizientensch\u00e4tzungen f\u00fcr dieses Modell zu erhalten:<\/span><\/p>\n F\u00fcr den drat-<\/strong> Pr\u00e4diktor wird kein Koeffizient angezeigt, da die Lasso-Regression den Koeffizienten auf Null reduziert hat. Das bedeutet, dass er komplett aus dem Modell entfernt wurde, weil er nicht gen\u00fcgend Einfluss hatte.<\/span><\/p>\n Beachten Sie, dass dies ein wesentlicher Unterschied zwischen der Ridge-Regression<\/a> und der Lasso-Regression<\/a> ist. Die Ridge-Regression reduziert alle Koeffizienten in Richtung<\/em> Null, aber die Lasso-Regression hat das Potenzial, Pr\u00e4diktoren aus dem Modell zu entfernen, indem die Koeffizienten vollst\u00e4ndig<\/em> auf Null reduziert werden.<\/span><\/p>\n Wir k\u00f6nnen das endg\u00fcltige Lasso-Regressionsmodell auch verwenden, um Vorhersagen \u00fcber neue Beobachtungen zu treffen. Angenommen, wir haben ein neues Auto mit den folgenden Eigenschaften:<\/span><\/p>\n Der folgende Code zeigt, wie das angepasste Lasso-Regressionsmodell verwendet wird, um den HP-<\/em> Wert dieser neuen Beobachtung vorherzusagen:<\/span><\/p>\n Basierend auf den eingegebenen Werten prognostiziert das Modell, dass dieses Auto einen PS-<\/em> Wert von 109,0842<\/strong> haben wird.<\/span><\/p>\n\n
Schritt 1: Daten laden<\/strong><\/span><\/h3>\n
\n
#define response variable<\/span>\ny <- mtcars$hp\n\n#define matrix of predictor variables\n<\/span>x <- data.matrix(mtcars[, c('mpg', 'wt', 'drat', 'qsec')])\n<\/strong><\/span><\/pre>\n Schritt 2: Passen Sie das Lasso-Regressionsmodell an<\/strong><\/span><\/h3>\n
library<\/span> (glmnet)<\/span>\n\n#perform k-fold cross-validation to find optimal lambda value\n<\/span>cv_model <- cv. glmnet<\/span> (x, y, alpha = 1<\/span> )\n\n#find optimal lambda value that minimizes test MSE\n<\/span>best_lambda <- cv_model$ lambda<\/span> . min<\/span>\nbest_lambda\n\n[1] 5.616345\n\n#produce plot of test MSE by lambda value<\/span>\nplot(cv_model) \n<\/strong><\/span><\/pre>\n![\"Testen](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lassor1.png\")
<\/p>\n Schritt 3: Analysieren Sie das endg\u00fcltige Modell<\/strong><\/span><\/h3>\n
#find coefficients of best model\n<\/span>best_model <- glmnet(x, y, alpha = 1<\/span> , lambda = best_lambda)\ncoef(best_model)\n\n5 x 1 sparse Matrix of class \"dgCMatrix\"\n s0\n(Intercept) 484.20742\nmpg -2.95796\nwt 21.37988\ndrat. \nqsec -19.43425<\/strong><\/span><\/pre>\n\n
#define new observation\n<\/span>new = matrix(c(24, 2.5, 3.5, 18.5), nrow= 1<\/span> , ncol= 4<\/span> ) \n\n#use lasso regression model to predict response value\n<\/span>predict(best_model, s = best_lambda, newx = new)\n\n[1,] 109.0842<\/strong><\/span><\/pre>\n