RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Oro:<\/span><\/p>\n Tuttavia, quando le variabili predittive sono altamente correlate,<\/span> la multicollinearit\u00e0<\/a> pu\u00f2 diventare un problema. Ci\u00f2 pu\u00f2 rendere inaffidabili le stime dei coefficienti del modello e presentare una varianza elevata.<\/span><\/p>\n Un modo per evitare questo problema \u00e8 utilizzare la regressione delle componenti principali<\/a> , che trova M<\/em> combinazioni lineari (chiamate “componenti principali”) dei predittori p<\/em> originali e quindi utilizza i minimi quadrati per adattare un modello di regressione lineare utilizzando le componenti principali come predittori.<\/span><\/p>\n Questo tutorial fornisce un esempio passo passo di come eseguire la regressione dei componenti principali in R.<\/span><\/p>\n Il modo pi\u00f9 semplice per eseguire la regressione dei componenti principali in R consiste nell’utilizzare le funzioni nel pacchetto pls<\/a> .<\/span><\/p>\n Per questo esempio, utilizzeremo il set di dati R integrato chiamato mtcars<\/strong> che contiene dati su diversi tipi di auto:<\/span><\/p>\n Per questo esempio, adatteremo un modello di regressione delle componenti principali (PCR) utilizzando hp<\/em> come variabile di risposta<\/a> e le seguenti variabili come variabili predittive:<\/span><\/p>\n Il codice seguente mostra come adattare il modello PCR a questi dati. Nota i seguenti argomenti:<\/span><\/p>\n Una volta adattato il modello, dobbiamo determinare quante componenti principali vale la pena mantenere.<\/span><\/p>\n Per fare ci\u00f2, basta guardare l’errore quadratico medio della radice del test (test RMSE) calcolato mediante convalida k-cross:<\/span><\/p>\n Nel risultato ci sono due tabelle interessanti:<\/span><\/p>\n 1. CONVALIDA: RMSEP<\/strong><\/span><\/p>\n Questa tabella ci dice il test RMSE calcolato mediante convalida incrociata k-fold. Possiamo vedere quanto segue:<\/span><\/p>\n Possiamo vedere che l’aggiunta di ulteriori componenti principali si traduce effettivamente in un aumento dell’RMSE del test. Sembra quindi che sarebbe ottimale utilizzare solo due componenti principali nel modello finale.<\/span><\/p>\n 2. FORMAZIONE: % di varianza spiegata<\/strong><\/span><\/p>\n Questa tabella ci dice la percentuale di varianza nella variabile di risposta spiegata dalle componenti principali. Possiamo vedere quanto segue:<\/span><\/p>\n Si noti che saremo comunque in grado di spiegare una maggiore varianza utilizzando pi\u00f9 componenti principali, ma possiamo vedere che l’aggiunta di pi\u00f9 di due componenti principali in realt\u00e0 non aumenta di molto la percentuale della varianza spiegata.<\/span><\/p>\n Possiamo anche visualizzare il test RMSE (insieme al test MSE e R-squared) in funzione del numero di componenti principali utilizzando la funzione validationplot()<\/strong> .<\/span> <\/p>\n In ogni grafico, possiamo vedere che l’adattamento del modello migliora aggiungendo due componenti principali, ma tende a peggiorare quando aggiungiamo pi\u00f9 componenti principali.<\/span><\/p>\n Pertanto, il modello ottimale include solo le prime due componenti principali.<\/span><\/p>\n Possiamo utilizzare il modello PCR finale a due componenti principali per fare previsioni su nuove osservazioni.<\/span><\/p>\n Il codice seguente mostra come suddividere il set di dati originale in un set di training e un set di test e utilizzare il modello PCR con due componenti principali per fare previsioni sul set di test.<\/span><\/p>\n\n
Passaggio 1: caricare i pacchetti necessari<\/strong><\/span><\/h3>\n
#install pls package (if not already installed)<\/span>\ninstall.packages(\" pls<\/span> \")\n\nload pls package\n<\/span>library(pls)\n<\/strong><\/pre>\n Passaggio 2: modificare il modello PCR<\/strong><\/span><\/h3>\n
#view first six rows of mtcars dataset<\/span>\nhead(mtcars)\n\n mpg cyl disp hp drat wt qsec vs am gear carb\nMazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4\nMazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4\nDatsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1\nHornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1\nHornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2\nValiant 18.1 6 225 105 2.76 3,460 20.22 1 0 3 1\n<\/strong><\/pre>\n\n
\n
#make this example reproducible\n<\/span>set.seed(1)\n\n#fit PCR model\n<\/span>model <- pcr(hp~mpg+disp+drat+wt+qsec, data=mtcars, scale= TRUE<\/span> , validation=\" CV<\/span> \")<\/strong><\/pre>\n Passaggio 3: scegli il numero di componenti principali<\/strong><\/span><\/h3>\n
#view summary of model fitting\n<\/span>summary(model)\n\nData: \n\tY dimension: 32 1\nFit method: svdpc\nNumber of components considered: 5\n\nVALIDATION: RMSEP\nCross-validated using 10 random segments.\n (Intercept) 1 comp 2 comps 3 comps 4 comps 5 comps\nCV 69.66 44.56 35.64 35.83 36.23 36.67\nadjCV 69.66 44.44 35.27 35.43 35.80 36.20\n\nTRAINING: % variance explained\n 1 comp 2 comps 3 comps 4 comps 5 comps\nX 69.83 89.35 95.88 98.96 100.00\nhp 62.38 81.31 81.96 81.98 82.03\n<\/strong><\/pre>\n\n
\n
#visualize cross-validation plots\n<\/span>validationplot(model)\nvalidationplot(model, val.type=\"MSEP\")\nvalidationplot(model, val.type=\"R2\")<\/strong> <\/pre>\n![\"Regressione](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr1.png\")
<\/p>\n![\"Grafico](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr2.png\")
<\/p>\n![\"Regressione](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr3.png\")
<\/p>\n Passaggio 4: utilizzare il modello finale per fare previsioni<\/strong><\/span><\/h3>\n
#define training and testing sets\n<\/span>train <- mtcars[1:25, c(\"hp\", \"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\")]\ny_test <- mtcars[26: nrow<\/span> (mtcars), c(\"hp\")]\ntest <- mtcars[26: nrow<\/span> (mtcars), c(\"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\")]\n \n#use model to make predictions on a test set\n<\/span>model <- pcr(hp~mpg+disp+drat+wt+qsec, data=train, scale= TRUE<\/span> , validation=\" CV<\/span> \")\npcr_pred <- predict(model, test, ncomp= 2<\/span> )\n\n#calculate RMSE\n<\/span>sqrt<\/span> ( mean<\/span> ((pcr_pred - y_test)^2))\n\n[1] 56.86549\n<\/strong><\/pre>\n