RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Wenn jedoch Pr\u00e4diktorvariablen stark korreliert sind,<\/span> kann Multikollinearit\u00e4t<\/a> zu einem Problem werden. Dies kann dazu f\u00fchren, dass Modellkoeffizientensch\u00e4tzungen unzuverl\u00e4ssig werden und eine hohe Varianz aufweisen.<\/span><\/p>\n Eine M\u00f6glichkeit, dieses Problem zu vermeiden, besteht darin, die Hauptkomponentenregression<\/a> zu verwenden, die M<\/em> lineare Kombinationen (sogenannte \u201eHauptkomponenten\u201c) der urspr\u00fcnglichen p<\/em> Pr\u00e4diktoren findet und dann die Methode der kleinsten Quadrate verwendet, um ein lineares Regressionsmodell unter Verwendung der Hauptkomponenten als Pr\u00e4diktoren anzupassen.<\/span><\/p>\n Dieses Tutorial bietet ein schrittweises Beispiel f\u00fcr die Durchf\u00fchrung einer Hauptkomponentenregression in R.<\/span><\/p>\n Der einfachste Weg, eine Hauptkomponentenregression in R durchzuf\u00fchren, ist die Verwendung von Funktionen im pls-<\/a> Paket.<\/span><\/p>\n F\u00fcr dieses Beispiel verwenden wir den integrierten R-Datensatz namens mtcars<\/strong> , der Daten zu verschiedenen Fahrzeugtypen enth\u00e4lt:<\/span><\/p>\n F\u00fcr dieses Beispiel passen wir ein Hauptkomponenten-Regressionsmodell (PCR) an, wobei wir hp<\/em> als Antwortvariable<\/a> und die folgenden Variablen als Pr\u00e4diktorvariablen verwenden:<\/span><\/p>\n Der folgende Code zeigt, wie das PCR-Modell an diese Daten angepasst wird. Beachten Sie die folgenden Argumente:<\/span><\/p>\n Nachdem wir das Modell angepasst haben, m\u00fcssen wir bestimmen, wie viele Hauptkomponenten es wert sind, beibehalten zu werden.<\/span><\/p>\n Schauen Sie sich dazu einfach den quadratischen Mittelfehler des Tests (Test-RMSE) an, der durch die K-Kreuzvalidierung berechnet wurde:<\/span><\/p>\n Das Ergebnis enth\u00e4lt zwei interessante Tabellen:<\/span><\/p>\n 1. VALIDIERUNG: RMSEP<\/strong><\/span><\/p>\n Diese Tabelle zeigt uns den RMSE-Test, der durch k-fache Kreuzvalidierung berechnet wurde. Wir k\u00f6nnen Folgendes sehen:<\/span><\/p>\n Wir k\u00f6nnen sehen, dass das Hinzuf\u00fcgen zus\u00e4tzlicher Hauptkomponenten tats\u00e4chlich zu einer Erh\u00f6hung des RMSE des Tests f\u00fchrt. Daher scheint es optimal zu sein, im endg\u00fcltigen Modell nur zwei Hauptkomponenten zu verwenden.<\/span><\/p>\n 2. TRAINING: % der erkl\u00e4rten Varianz<\/strong><\/span><\/p>\n Diese Tabelle zeigt uns den Prozentsatz der Varianz der Antwortvariablen, die durch die Hauptkomponenten erkl\u00e4rt wird. Wir k\u00f6nnen Folgendes sehen:<\/span><\/p>\n Beachten Sie, dass wir immer noch in der Lage sein werden, eine gr\u00f6\u00dfere Varianz zu erkl\u00e4ren, indem wir mehr Hauptkomponenten verwenden, aber wir k\u00f6nnen sehen, dass das Hinzuf\u00fcgen von mehr als zwei Hauptkomponenten den Prozentsatz der erkl\u00e4rten Varianz tats\u00e4chlich nicht wesentlich erh\u00f6ht.<\/span><\/p>\n Wir k\u00f6nnen den RMSE-Test (zusammen mit MSE und R-Quadrat-Test) auch als Funktion der Anzahl der Hauptkomponenten mithilfe der Funktion validationplot()<\/strong> visualisieren.<\/span> <\/p>\n In jedem Diagramm k\u00f6nnen wir sehen, dass sich die Modellanpassung durch das Hinzuf\u00fcgen von zwei Hauptkomponenten verbessert, sich jedoch tendenziell verschlechtert, wenn wir weitere Hauptkomponenten hinzuf\u00fcgen.<\/span><\/p>\n Somit umfasst das optimale Modell nur die ersten beiden Hauptkomponenten.<\/span><\/p>\n Wir k\u00f6nnen das endg\u00fcltige Zwei-Hauptkomponenten-PCR-Modell verwenden, um Vorhersagen \u00fcber neue Beobachtungen zu treffen.<\/span><\/p>\n Der folgende Code zeigt, wie Sie den Originaldatensatz in einen Trainings- und einen Testsatz aufteilen und das PCR-Modell mit zwei Hauptkomponenten verwenden, um Vorhersagen f\u00fcr den Testsatz zu treffen.<\/span><\/p>\n\n
Schritt 1: Laden Sie die erforderlichen Pakete<\/strong><\/span><\/h3>\n
#install pls package (if not already installed)<\/span>\ninstall.packages(\" pls<\/span> \")\n\nload pls package\n<\/span>library(pls)\n<\/strong><\/pre>\n Schritt 2: Passen Sie das PCR-Modell an<\/strong><\/span><\/h3>\n
#view first six rows of mtcars dataset<\/span>\nhead(mtcars)\n\n mpg cyl disp hp drat wt qsec vs am gear carb\nMazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4\nMazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4\nDatsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1\nHornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1\nHornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2\nValiant 18.1 6 225 105 2.76 3,460 20.22 1 0 3 1\n<\/strong><\/pre>\n\n
\n
#make this example reproducible\n<\/span>set.seed(1)\n\n#fit PCR model\n<\/span>model <- pcr(hp~mpg+disp+drat+wt+qsec, data=mtcars, scale= TRUE<\/span> , validation=\" CV<\/span> \")<\/strong><\/pre>\n Schritt 3: W\u00e4hlen Sie die Anzahl der Hauptkomponenten<\/strong><\/span><\/h3>\n
#view summary of model fitting\n<\/span>summary(model)\n\nData: \n\tY dimension: 32 1\nFit method: svdpc\nNumber of components considered: 5\n\nVALIDATION: RMSEP\nCross-validated using 10 random segments.\n (Intercept) 1 comp 2 comps 3 comps 4 comps 5 comps\nCV 69.66 44.56 35.64 35.83 36.23 36.67\nadjCV 69.66 44.44 35.27 35.43 35.80 36.20\n\nTRAINING: % variance explained\n 1 comp 2 comps 3 comps 4 comps 5 comps\nX 69.83 89.35 95.88 98.96 100.00\nhp 62.38 81.31 81.96 81.98 82.03\n<\/strong><\/pre>\n\n
\n
#visualize cross-validation plots\n<\/span>validationplot(model)\nvalidationplot(model, val.type=\"MSEP\")\nvalidationplot(model, val.type=\"R2\")<\/strong> <\/pre>\n![\"Hauptkomponentenregression](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr1.png\")
<\/p>\n![\"Hauptkomponenten-Regressions-Kreuzvalidierungsdiagramm](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr2.png\")
<\/p>\n![\"R-Quadrat-Hauptkomponentenregression](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr3.png\")
<\/p>\n Schritt 4: Verwenden Sie das endg\u00fcltige Modell, um Vorhersagen zu treffen<\/strong><\/span><\/h3>\n
#define training and testing sets\n<\/span>train <- mtcars[1:25, c(\"hp\", \"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\")]\ny_test <- mtcars[26: nrow<\/span> (mtcars), c(\"hp\")]\ntest <- mtcars[26: nrow<\/span> (mtcars), c(\"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\")]\n \n#use model to make predictions on a test set\n<\/span>model <- pcr(hp~mpg+disp+drat+wt+qsec, data=train, scale= TRUE<\/span> , validation=\" CV<\/span> \")\npcr_pred <- predict(model, test, ncomp= 2<\/span> )\n\n#calculate RMSE\n<\/span>sqrt<\/span> ( mean<\/span> ((pcr_pred - y_test)^2))\n\n[1] 56.86549\n<\/strong><\/pre>\n