Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n I valori di \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> vengono scelti utilizzando il metodo dei minimi quadrati<\/strong> , che minimizza la somma dei quadrati dei residui (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n Tuttavia, quando le variabili predittive sono altamente correlate, la multicollinearit\u00e0<\/a> pu\u00f2 diventare un problema. Ci\u00f2 pu\u00f2 rendere inaffidabili le stime dei coefficienti del modello e presentare una varianza elevata.<\/span><\/p>\n Un modo per aggirare questo problema senza rimuovere completamente alcune variabili predittive dal modello \u00e8 utilizzare un metodo noto come regressione ridge<\/strong> , che cerca invece di ridurre al minimo quanto segue:<\/span><\/p>\n RSS + \u03bb\u03a3\u03b2 j<\/sub> 2<\/sup><\/strong><\/span><\/p>\n dove j<\/em> va da 1 a p<\/em> e<\/span> \u03bb \u2265 0.<\/span><\/p>\n Questo secondo termine nell’equazione \u00e8 noto come penalit\u00e0 di ritiro<\/em> .<\/span><\/p>\n Quando \u03bb = 0, questo termine di penalit\u00e0 non ha alcun effetto e la regressione della cresta produce le stesse stime dei coefficienti dei minimi quadrati. Tuttavia, quando \u03bb si avvicina all\u2019infinito, la penalit\u00e0 di contrazione diventa pi\u00f9 influente e le stime del coefficiente di regressione di picco si avvicinano allo zero.<\/span><\/p>\n In generale, le variabili predittive meno influenti nel modello diminuiranno verso lo zero pi\u00f9 velocemente.<\/span><\/p>\n Il vantaggio della regressione Ridge rispetto alla regressione dei minimi quadrati \u00e8 il compromesso bias-varianza<\/a> .<\/span><\/p>\n Ricordiamo che l’errore quadratico medio (MSE) \u00e8 una metrica che possiamo utilizzare per misurare l’accuratezza di un determinato modello e viene calcolata come segue:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Varianza + Bias 2<\/sup> + Errore irriducibile<\/span><\/p>\n L\u2019idea di base della regressione Ridge \u00e8 quella di introdurre una piccola distorsione in modo che la varianza possa essere significativamente ridotta, portando a un MSE complessivo inferiore.<\/span><\/p>\n Per illustrare ci\u00f2, si consideri il seguente grafico:<\/span> <\/p>\n Si noti che all\u2019aumentare di \u03bb, la varianza diminuisce in modo significativo con un aumento molto piccolo della distorsione. Tuttavia, oltre un certo punto, la varianza diminuisce meno rapidamente e la diminuzione dei coefficienti porta ad una loro significativa sottostima, che porta ad un forte aumento della distorsione.<\/span><\/p>\n Possiamo vedere dal grafico che l’MSE del test \u00e8 pi\u00f9 basso quando scegliamo un valore per \u03bb che produca un compromesso ottimale tra bias e varianza.<\/span><\/p>\n Quando \u03bb = 0, il termine di penalit\u00e0 nella regressione della cresta non ha alcun effetto e quindi produce le stesse stime dei coefficienti dei minimi quadrati. Tuttavia, aumentando \u03bb fino a un certo punto, possiamo ridurre l\u2019MSE complessivo del test.<\/span> <\/p>\n Ci\u00f2 significa che l’adattamento del modello mediante la regressione della cresta produrr\u00e0 errori di test minori rispetto all’adattamento del modello mediante la regressione dei minimi quadrati.<\/span><\/p>\n \u00c8 possibile utilizzare i seguenti passaggi per eseguire la regressione della cresta:<\/span><\/p>\n Passaggio 1: calcolare la matrice di correlazione e i valori VIF per le variabili predittive.<\/strong><\/span><\/p>\n Innanzitutto, dobbiamo produrre una matrice di correlazione<\/a> e calcolare i valori VIF (fattore di inflazione della varianza)<\/a> per ciascuna variabile predittrice.<\/span><\/p>\n Se rileviamo una forte correlazione tra le variabili predittive e valori VIF elevati (alcuni testi definiscono un valore VIF “alto” come 5 mentre altri usano 10), allora la regressione della cresta \u00e8 probabilmente appropriata.<\/span><\/p>\n Tuttavia, se nei dati non \u00e8 presente multicollinearit\u00e0, potrebbe non essere necessario eseguire innanzitutto la regressione della cresta. Invece, possiamo eseguire la regressione ordinaria dei minimi quadrati.<\/span><\/p>\n Passaggio 2: standardizzare ciascuna variabile predittrice.<\/strong><\/span><\/p>\n Prima di eseguire la regressione ridge, \u00e8 necessario ridimensionare i dati in modo tale che ciascuna variabile predittiva abbia una media pari a 0 e una deviazione standard pari a 1. Ci\u00f2 garantisce che nessuna singola variabile predittiva abbia un’influenza eccessiva durante l’esecuzione di una regressione ridge.<\/span><\/p>\n Passaggio 3: adattare il modello di regressione della cresta e scegliere un valore per \u03bb.<\/strong><\/span><\/p>\n Non esiste una formula esatta che possiamo usare per determinare quale valore usare per \u03bb. In pratica, ci sono due modi comuni per scegliere \u03bb:<\/span><\/p>\n (1) Creare un grafico della traccia della cresta.<\/strong> Questo \u00e8 un grafico che visualizza i valori dei coefficienti stimati all’aumentare di \u03bb verso l’infinito. Tipicamente, scegliamo \u03bb come il valore al quale la maggior parte delle stime dei coefficienti inizia a stabilizzarsi.<\/span> <\/p>\n (2) Calcolare il test MSE per ciascun valore di \u03bb.<\/strong><\/span><\/p>\n Un altro modo per scegliere \u03bb \u00e8 semplicemente calcolare l’MSE di prova di ciascun modello con diversi valori di \u03bb e scegliere \u03bb come valore che produce l’MSE di prova pi\u00f9 basso.<\/span><\/p>\n Il vantaggio<\/strong> pi\u00f9 grande della regressione Ridge \u00e8 la sua capacit\u00e0 di produrre un errore quadratico medio (MSE) del test inferiore rispetto ai minimi quadrati quando \u00e8 presente la multicollinearit\u00e0.<\/span><\/p>\n Tuttavia, il pi\u00f9 grande svantaggio<\/strong> della regressione Ridge \u00e8 la sua incapacit\u00e0 di eseguire la selezione delle variabili poich\u00e9 include tutte le variabili predittive nel modello finale. Poich\u00e9 alcuni predittori verranno ridotti molto vicino allo zero, ci\u00f2 pu\u00f2 rendere difficile l’interpretazione dei risultati del modello.<\/span><\/p>\n In pratica, la regressione Ridge ha il potenziale per produrre un modello in grado di fare previsioni migliori rispetto a un modello dei minimi quadrati, ma spesso \u00e8 pi\u00f9 difficile interpretare i risultati del modello.<\/span><\/p>\n A seconda che per te sia pi\u00f9 importante l’interpretazione del modello o l’accuratezza della previsione, puoi scegliere di utilizzare i minimi quadrati ordinari o la regressione di cresta in diversi scenari.<\/span><\/p>\n I seguenti tutorial spiegano come eseguire la regressione della cresta in R e Python, i due linguaggi pi\u00f9 comunemente utilizzati per l’adattamento dei modelli di regressione della cresta:<\/span><\/p>\n Regressione della cresta in R (passo dopo passo)<\/a> Nella regressione lineare multipla ordinaria, utilizziamo un insieme di variabili predittive p e una variabile di risposta per adattare un modello della forma: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Oro: Y : la variabile di risposta X j : la j- esima […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
\n
Perch\u00e9 utilizzare la regressione della cresta?<\/strong><\/span><\/h3>\n
![\"Compromesso](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Test](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete2.png\")
<\/p>\n Passaggi per eseguire la regressione della cresta nella pratica<\/strong><\/span><\/h3>\n
![\"Traccia](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete3.png\")
<\/p>\n Vantaggi e svantaggi della regressione della cresta<\/strong><\/span><\/h3>\n
Regressione della cresta in R e Python<\/strong><\/span><\/h3>\n
Regressione Ridge in Python (passo dopo passo)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"