Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n I valori di \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> sono scelti utilizzando il metodo dei minimi quadrati, che minimizza la somma dei quadrati dei residui (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n Un problema che spesso si presenta nella pratica con la regressione lineare multipla \u00e8 la multicollinearit\u00e0<\/a> , ovvero quando due o pi\u00f9 variabili predittive sono altamente correlate tra loro, in modo tale da non fornire informazioni univoche o indipendenti nel modello di regressione.<\/span><\/p>\n Ci\u00f2 pu\u00f2 rendere inaffidabili le stime dei coefficienti del modello e presentare una varianza elevata. Cio\u00e8, quando il modello viene applicato a un nuovo set di dati mai visto prima, \u00e8 probabile che funzioni in modo scarso.<\/span><\/p>\n Due metodi che possiamo utilizzare per aggirare questo problema di multicollinearit\u00e0 sono la regressione della cresta<\/strong> e la regressione del lazo<\/strong> .<\/span><\/p>\n La regressione della cresta<\/strong> cerca di minimizzare quanto segue:<\/span><\/p>\n La regressione lazo<\/strong> cerca di minimizzare quanto segue:<\/span><\/p>\n In entrambe le equazioni, il secondo termine \u00e8 chiamato penalit\u00e0 di ritiro<\/em> .<\/span><\/p>\n Quando \u03bb = 0, questo termine di penalit\u00e0 non ha alcun effetto e la regressione della cresta e la regressione del lazo producono le stesse stime dei coefficienti dei minimi quadrati.<\/span><\/p>\n Tuttavia, quando \u03bb si avvicina all\u2019infinito, la penalit\u00e0 di contrazione diventa pi\u00f9 influente e le variabili predittive che non sono importabili nel modello diminuiscono verso zero.<\/span><\/p>\n Con la regressione Lasso, \u00e8 possibile che alcuni coefficienti diventino completamente pari a zero<\/em> quando \u03bb diventa sufficientemente grande.<\/span><\/p>\n Il vantaggio<\/strong> della regressione Ridge e Lasso rispetto alla regressione dei minimi quadrati \u00e8 il compromesso bias-varianza<\/a> .<\/span><\/p>\n Ricordiamo che l’errore quadratico medio (MSE) \u00e8 una metrica che possiamo utilizzare per misurare l’accuratezza di un determinato modello e viene calcolata come segue:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Varianza + Bias 2<\/sup> + Errore irriducibile<\/span><\/p>\n L’idea di base della regressione Ridge e della regressione Lasso \u00e8 quella di introdurre una piccola distorsione in modo che la varianza possa essere significativamente ridotta, portando a un MSE complessivo inferiore.<\/span><\/p>\n Per illustrare ci\u00f2, si consideri il seguente grafico:<\/span> <\/p>\n Si noti che all\u2019aumentare di \u03bb, la varianza diminuisce in modo significativo con un aumento molto piccolo della distorsione. Tuttavia, oltre un certo punto, la varianza diminuisce meno rapidamente e la diminuzione dei coefficienti porta ad una loro significativa sottostima, che porta ad un forte aumento della distorsione.<\/span><\/p>\n Possiamo vedere dal grafico che l’MSE del test \u00e8 pi\u00f9 basso quando scegliamo un valore per \u03bb che produca un compromesso ottimale tra bias e varianza.<\/span><\/p>\n Quando \u03bb = 0, il termine di penalit\u00e0 nella regressione con lazo non ha alcun effetto e quindi produce le stesse stime dei coefficienti dei minimi quadrati.<\/span> Tuttavia, aumentando \u03bb fino a un certo punto, possiamo ridurre l\u2019MSE complessivo del test.<\/span> <\/p>\n Ci\u00f2 significa che l’adattamento del modello mediante la regressione ridge e lazo pu\u00f2 potenzialmente produrre errori di test pi\u00f9 piccoli rispetto all’adattamento del modello mediante la regressione dei minimi quadrati.<\/span><\/p>\n Lo svantaggio<\/strong> della regressione Ridge e Lasso \u00e8 che diventa difficile interpretare i coefficienti nel modello finale man mano che si riducono verso lo zero.<\/span><\/p>\n Pertanto, la regressione Ridge e Lasso dovrebbe essere utilizzata quando si desidera ottimizzare la capacit\u00e0 predittiva anzich\u00e9 l’inferenza.<\/span><\/p>\n La regressione del lasso e la regressione della cresta sono noti come metodi di regolarizzazione<\/em> perch\u00e9 entrambi tentano di ridurre al minimo la somma residua dei quadrati (RSS) nonch\u00e9 un determinato termine di penalit\u00e0.<\/span><\/p>\n In altre parole, vincolano o regolarizzano<\/em> le stime dei coefficienti del modello.<\/span><\/p>\n Ci\u00f2 solleva naturalmente la domanda: \u00e8 migliore la regressione della cresta o del lazo?<\/strong><\/span><\/p>\n Nei casi in cui solo un numero limitato di variabili predittive sono significative, la regressione lazo<\/strong> tende a funzionare meglio perch\u00e9 \u00e8 in grado di ridurre completamente a zero le variabili insignificanti e rimuoverle dal modello.<\/span><\/p>\n Tuttavia, quando molte variabili predittive sono significative nel modello e i relativi coefficienti sono approssimativamente uguali, la regressione ridge<\/strong> tende a funzionare meglio perch\u00e9 mantiene tutti i predittori nel modello.<\/span><\/p>\n Per determinare quale modello \u00e8 il migliore per fare previsioni, in genere eseguiamo una convalida incrociata k-fold<\/a> e scegliamo il modello che produce l’errore quadratico medio radice del test pi\u00f9 basso.<\/span><\/p>\n Le seguenti esercitazioni forniscono un’introduzione alla regressione Ridge e alla regressione lazo:<\/span><\/p>\n I seguenti tutorial spiegano come eseguire entrambi i tipi di regressione in R e Python:<\/span><\/p>\n Nella regressione lineare multipla ordinaria, utilizziamo un insieme di variabili predittive p e una variabile di risposta per adattare un modello della forma: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p I valori di \u03b2 0 , \u03b2 1 , B 2 , \u2026, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
Il problema della multicollinearit\u00e0 nella regressione<\/span><\/strong><\/h3>\n
Evitare la multicollinearit\u00e0: regressione Ridge e Lasso<\/strong><\/span><\/h3>\n
\n
\n
Vantaggi e svantaggi della regressione Ridge e Lasso<\/strong><\/span><\/h3>\n
![\"Compromesso](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Compromesso](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Cresta vs. Regressione lazo: quando utilizzarli ciascuno<\/strong><\/span><\/h3>\n
Risorse addizionali<\/strong><\/span><\/h3>\n
\n
\n