In poche parole, la regressione dei minimi quadrati tenta di trovare stime di coefficienti che minimizzino la somma residua dei quadrati (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> )2<\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n Al contrario, la regressione lazo cerca di minimizzare quanto segue:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n dove j<\/em> va da 1 a p<\/em> variabili predittive e \u03bb \u2265 0.<\/span><\/p>\n Questo secondo termine nell’equazione \u00e8 noto come penalit\u00e0 di ritiro<\/em> . Nella regressione al lazo, selezioniamo un valore per \u03bb che produce il test MSE (errore quadratico medio) pi\u00f9 basso possibile.<\/span><\/p>\n Questo tutorial fornisce un esempio passo passo di come eseguire una regressione lazo in R.<\/span><\/p>\n Per questo esempio, utilizzeremo il set di dati integrato di R chiamato mtcars<\/strong> . Utilizzeremo hp<\/strong> come variabile di risposta e le seguenti variabili come predittori:<\/span><\/p>\n Per eseguire la regressione lazo, utilizzeremo le funzioni del pacchetto glmnet<\/strong> . Questo pacchetto richiede che la variabile di risposta<\/a> sia un vettore e che l’insieme di variabili predittive sia della classe data.matrix<\/strong> .<\/span><\/p>\n Il codice seguente mostra come definire i nostri dati:<\/span><\/p>\n Successivamente, utilizzeremo la funzione glmnet()<\/strong> per adattare il modello di regressione lazo e specificheremo alpha=1<\/strong> .<\/span><\/p>\n Si noti che impostare alpha uguale a 0 equivale a utilizzare la regressione della cresta<\/a> e impostare alpha su un valore compreso tra 0 e 1 equivale a utilizzare una rete elastica.<\/span> <\/strong><\/span><\/p>\n Per determinare quale valore utilizzare per lambda, eseguiremo una convalida incrociata k-fold<\/a> e identificheremo il valore lambda che produce l’errore quadratico medio (MSE) pi\u00f9 basso del test.<\/span><\/p>\n Tieni presente che la funzione cv.glmnet()<\/strong> esegue automaticamente la convalida incrociata k-fold utilizzando k = 10 volte.<\/span> <\/p>\n Il valore lambda che minimizza il test MSE risulta essere 5.616345<\/strong> .<\/span><\/p>\n Infine, possiamo analizzare il modello finale prodotto dal valore lambda ottimale.<\/span><\/p>\n Possiamo utilizzare il seguente codice per ottenere le stime dei coefficienti per questo modello:<\/span><\/p>\n Non viene visualizzato alcun coefficiente per il predittore drat<\/strong> perch\u00e9 la regressione lazo ha ridotto il coefficiente a zero. Ci\u00f2 significa che \u00e8 stato completamente rimosso dal modello perch\u00e9 non aveva abbastanza influenza.<\/span><\/p>\n Si noti che questa \u00e8 una differenza fondamentale tra la regressione della cresta<\/a> e la regressione del lazo<\/a> . La regressione della cresta riduce tutti i coefficienti verso<\/em> lo zero, ma la regressione del lazo ha il potenziale per rimuovere i predittori dal modello riducendo i coefficienti completamente<\/em> a zero.<\/span><\/p>\n Possiamo anche utilizzare il modello di regressione lazo finale per fare previsioni su nuove osservazioni. Ad esempio, supponiamo di avere una nuova auto con i seguenti attributi:<\/span><\/p>\n Il codice seguente mostra come utilizzare il modello di regressione lazo adattato per prevedere il valore hp<\/em> di questa nuova osservazione:<\/span><\/p>\n In base ai valori inseriti, il modello prevede che questa vettura avr\u00e0 un valore di CV<\/em> pari a 109,0842<\/strong> .<\/span><\/p>\n\n
Passaggio 1: caricare i dati<\/strong><\/span><\/h3>\n
\n
#define response variable<\/span>\ny <- mtcars$hp\n\n#define matrix of predictor variables\n<\/span>x <- data.matrix(mtcars[, c('mpg', 'wt', 'drat', 'qsec')])\n<\/strong><\/span><\/pre>\n Passaggio 2: adattare il modello di regressione lazo<\/strong><\/span><\/h3>\n
library<\/span> (glmnet)<\/span>\n\n#perform k-fold cross-validation to find optimal lambda value\n<\/span>cv_model <- cv. glmnet<\/span> (x, y, alpha = 1<\/span> )\n\n#find optimal lambda value that minimizes test MSE\n<\/span>best_lambda <- cv_model$ lambda<\/span> . min<\/span>\nbest_lambda\n\n[1] 5.616345\n\n#produce plot of test MSE by lambda value<\/span>\nplot(cv_model) \n<\/strong><\/span><\/pre>\n![\"Testare](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lassor1.png\")
<\/p>\n Passaggio 3: analizzare il modello finale<\/strong><\/span><\/h3>\n
#find coefficients of best model\n<\/span>best_model <- glmnet(x, y, alpha = 1<\/span> , lambda = best_lambda)\ncoef(best_model)\n\n5 x 1 sparse Matrix of class \"dgCMatrix\"\n s0\n(Intercept) 484.20742\nmpg -2.95796\nwt 21.37988\ndrat. \nqsec -19.43425<\/strong><\/span><\/pre>\n\n
#define new observation\n<\/span>new = matrix(c(24, 2.5, 3.5, 18.5), nrow= 1<\/span> , ncol= 4<\/span> ) \n\n#use lasso regression model to predict response value\n<\/span>predict(best_model, s = best_lambda, newx = new)\n\n[1,] 109.0842<\/strong><\/span><\/pre>\n