Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n I valori di \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> vengono scelti utilizzando il metodo dei minimi quadrati<\/strong> , che minimizza la somma dei quadrati dei residui (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n Tuttavia, quando le variabili predittive sono altamente correlate, la multicollinearit\u00e0<\/a> pu\u00f2 diventare un problema. Ci\u00f2 pu\u00f2 rendere inaffidabili le stime dei coefficienti del modello e presentare una varianza elevata. Cio\u00e8, quando il modello viene applicato a un nuovo set di dati mai visto prima, \u00e8 probabile che funzioni in modo scarso.<\/span><\/p>\n Un modo per aggirare questo problema \u00e8 utilizzare un metodo noto come regressione lazo<\/strong> , che cerca invece di ridurre al minimo quanto segue:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n dove j<\/em> va da 1 a p<\/em> e \u03bb \u2265 0.<\/span><\/p>\n Questo secondo termine nell’equazione \u00e8 noto come penalit\u00e0 di ritiro<\/em> .<\/span><\/p>\n Quando \u03bb = 0, questo termine di penalit\u00e0 non ha alcun effetto e la regressione al lazo produce le stesse stime dei coefficienti dei minimi quadrati.<\/span><\/p>\n Tuttavia, quando \u03bb si avvicina all\u2019infinito, la penalit\u00e0 di rimozione diventa pi\u00f9 influente e le variabili predittive che non sono importabili nel modello vengono ridotte a zero e alcune vengono addirittura rimosse dal modello.<\/span><\/p>\n Il vantaggio della regressione con lazo rispetto alla regressione dei minimi quadrati \u00e8 il compromesso bias-varianza<\/a> .<\/span><\/p>\n Ricordiamo che l’errore quadratico medio (MSE) \u00e8 una metrica che possiamo utilizzare per misurare l’accuratezza di un determinato modello e viene calcolata come segue:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Varianza + Bias 2<\/sup> + Errore irriducibile<\/span><\/p>\n L\u2019idea di base della regressione lazo \u00e8 quella di introdurre una piccola distorsione in modo che la varianza possa essere significativamente ridotta, portando a un MSE complessivo inferiore.<\/span><\/p>\n Per illustrare ci\u00f2, si consideri il seguente grafico:<\/span> <\/p>\n Si noti che all\u2019aumentare di \u03bb, la varianza diminuisce in modo significativo con un aumento molto piccolo della distorsione. Tuttavia, oltre un certo punto, la varianza diminuisce meno rapidamente e la diminuzione dei coefficienti porta ad una loro significativa sottostima, che porta ad un forte aumento della distorsione.<\/span><\/p>\n Possiamo vedere dal grafico che l’MSE del test \u00e8 pi\u00f9 basso quando scegliamo un valore per \u03bb che produca un compromesso ottimale tra bias e varianza.<\/span><\/p>\n Quando \u03bb = 0, il termine di penalit\u00e0 nella regressione con lazo non ha alcun effetto e quindi produce le stesse stime dei coefficienti dei minimi quadrati. Tuttavia, aumentando \u03bb fino a un certo punto, possiamo ridurre l\u2019MSE complessivo del test.<\/span> <\/p>\n Ci\u00f2 significa che l’adattamento del modello mediante la regressione con lazo produrr\u00e0 errori di test minori rispetto all’adattamento del modello mediante la regressione dei minimi quadrati.<\/span><\/p>\n La regressione Lazo e la regressione Ridge<\/a> sono entrambi noti come metodi di regolarizzazione<\/em> perch\u00e9 entrambi tentano di ridurre al minimo la somma residua dei quadrati (RSS) nonch\u00e9 un determinato termine di penalit\u00e0.<\/span><\/p>\n In altre parole, vincolano o regolarizzano<\/em> le stime dei coefficienti del modello.<\/span><\/p>\n Tuttavia, i termini di penalit\u00e0 utilizzati sono leggermente diversi:<\/span><\/p>\n Quando utilizziamo la regressione ridge, i coefficienti di ciascun predittore vengono ridotti a zero ma nessuno di essi pu\u00f2 arrivare completamente a zero<\/em> .<\/span><\/p>\n Al contrario, quando usiamo la regressione con lazo, \u00e8 possibile che alcuni coefficienti diventino completamente pari a zero<\/em> quando \u03bb diventa sufficientemente grande.<\/span><\/p>\n In termini tecnici, la regressione lazo \u00e8 in grado di produrre modelli \u201csparsi\u201d, ovvero modelli che includono solo un sottoinsieme di variabili predittive.<\/span><\/p>\n Ci\u00f2 solleva la domanda: \u00e8 migliore la regressione della cresta o la regressione del lazo?<\/strong><\/span><\/p>\n La risposta: dipende!<\/span><\/p>\n Nei casi in cui solo un numero limitato di variabili predittive sono significative, la regressione lazo tende a funzionare meglio perch\u00e9 \u00e8 in grado di ridurre completamente a zero le variabili insignificanti e rimuoverle dal modello.<\/span><\/p>\n Tuttavia, quando molte variabili predittive sono significative nel modello e i relativi coefficienti sono approssimativamente uguali, la regressione ridge tende a funzionare meglio perch\u00e9 mantiene tutti i predittori nel modello.<\/span><\/p>\n Per determinare quale modello \u00e8 pi\u00f9 efficace nel fare previsioni, eseguiamo una convalida incrociata k-fold<\/a> . Qualunque modello produca l’errore quadratico medio (MSE) pi\u00f9 basso \u00e8 il modello migliore da utilizzare.<\/span><\/p>\n \u00c8 possibile utilizzare i seguenti passaggi per eseguire una regressione lazo:<\/span><\/p>\n Passaggio 1: calcolare la matrice di correlazione e i valori VIF per le variabili predittive.<\/strong><\/span><\/p>\n Innanzitutto, dobbiamo produrre una matrice di correlazione<\/a> e calcolare i valori VIF (fattore di inflazione della varianza)<\/a> per ciascuna variabile predittrice.<\/span><\/p>\n Se rileviamo una forte correlazione tra le variabili predittive e valori VIF elevati (alcuni testi definiscono un valore VIF “alto” come 5 mentre altri usano 10), allora la regressione lazo \u00e8 probabilmente appropriata.<\/span><\/p>\n Tuttavia, se nei dati non \u00e8 presente multicollinearit\u00e0, potrebbe non essere necessario eseguire innanzitutto la regressione lazo. Invece, possiamo eseguire la regressione ordinaria dei minimi quadrati.<\/span><\/p>\n Passaggio 2: adattare il modello di regressione lazo e scegliere un valore per \u03bb.<\/strong><\/span><\/p>\n Una volta determinato che la regressione lazo \u00e8 appropriata, possiamo adattare il modello (utilizzando linguaggi di programmazione popolari come R o Python) utilizzando il valore ottimale per \u03bb.<\/span><\/p>\n Per determinare il valore ottimale per \u03bb, possiamo adattare pi\u00f9 modelli utilizzando valori diversi per \u03bb e scegliere \u03bb come valore che produce il test MSE pi\u00f9 basso.<\/span><\/p>\n Passaggio 3: confrontare la regressione con lazo con la regressione di cresta e con la regressione dei minimi quadrati ordinari.<\/strong><\/span><\/p>\n Infine, possiamo confrontare il nostro modello di regressione lazo con un modello di regressione ridge e un modello di regressione dei minimi quadrati per determinare quale modello produce il test MSE pi\u00f9 basso utilizzando la convalida incrociata k-fold.<\/span><\/p>\n A seconda della relazione tra le variabili predittive e la variabile di risposta, \u00e8 del tutto possibile che uno di questi tre modelli superi gli altri in scenari diversi.<\/span><\/p>\n I seguenti tutorial spiegano come eseguire la regressione lazo in R e Python:<\/span><\/p>\n Regressione lazo in R (passo dopo passo)<\/a> Nella regressione lineare multipla ordinaria, utilizziamo un insieme di variabili predittive p e una variabile di risposta per adattare un modello della forma: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Oro: Y : la variabile di risposta X j : la j- esima […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
\n
Perch\u00e9 utilizzare la regressione Lazo?<\/strong><\/span><\/h3>\n
![\"Compromesso](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Compromesso](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Regressione lazo vs regressione Ridge<\/strong><\/span><\/h3>\n
\n
Passaggi per eseguire nella pratica una regressione con il lazo<\/strong><\/span><\/h3>\n
Regressione lazo in R e Python<\/strong><\/span><\/h3>\n
Regressione lazo in Python (passo dopo passo)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"