RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Wenn jedoch Pr\u00e4diktorvariablen stark korreliert sind,<\/span> kann Multikollinearit\u00e4t<\/a> zu einem Problem werden. Dies kann dazu f\u00fchren, dass Modellkoeffizientensch\u00e4tzungen unzuverl\u00e4ssig werden und eine hohe Varianz aufweisen.<\/span><\/p>\n Eine M\u00f6glichkeit, dieses Problem zu vermeiden, besteht darin, die Hauptkomponentenregression<\/a> zu verwenden, die M<\/em> lineare Kombinationen (sogenannte \u201eHauptkomponenten\u201c) der urspr\u00fcnglichen p<\/em> Pr\u00e4diktoren findet und dann die Methode der kleinsten Quadrate verwendet, um ein lineares Regressionsmodell unter Verwendung der Hauptkomponenten als Pr\u00e4diktoren anzupassen.<\/span><\/p>\n Dieses Tutorial bietet ein schrittweises Beispiel f\u00fcr die Durchf\u00fchrung einer Hauptkomponentenregression in Python.<\/span><\/p>\n Zuerst importieren wir die Pakete, die zur Durchf\u00fchrung der Hauptkomponentenregression (PCR) in Python erforderlich sind:<\/span><\/span><\/p>\n F\u00fcr dieses Beispiel verwenden wir einen Datensatz namens mtcars<\/strong> , der Informationen zu 33 verschiedenen Autos enth\u00e4lt. Wir werden hp<\/strong> als Antwortvariable und die folgenden Variablen als Pr\u00e4diktoren verwenden:<\/span><\/p>\n Der folgende Code zeigt, wie dieser Datensatz geladen und angezeigt wird:<\/span><\/span><\/p>\n Der folgende Code zeigt, wie das PCR-Modell an diese Daten angepasst wird. Beachte das Folgende:<\/span><\/p>\n Das Diagramm zeigt die Anzahl der Hauptkomponenten entlang der x-Achse und den MSE-Test (mittlerer quadratischer Fehler) entlang der y-Achse.<\/span><\/p>\n Aus der Grafik k\u00f6nnen wir ersehen, dass der MSE des Tests durch das Hinzuf\u00fcgen von zwei Hauptkomponenten abnimmt, aber zu steigen beginnt, wenn wir mehr als zwei Hauptkomponenten hinzuf\u00fcgen.<\/span><\/p>\n Somit umfasst das optimale Modell nur die ersten beiden Hauptkomponenten.<\/span><\/p>\n Wir k\u00f6nnen auch den folgenden Code verwenden, um den Prozentsatz der Varianz in der Antwortvariablen zu berechnen, indem wir jede Hauptkomponente zum Modell hinzuf\u00fcgen:<\/span><\/p>\n Wir k\u00f6nnen Folgendes sehen:<\/span><\/p>\n Beachten Sie, dass wir immer noch in der Lage sein werden, eine gr\u00f6\u00dfere Varianz zu erkl\u00e4ren, indem wir mehr Hauptkomponenten verwenden, aber wir k\u00f6nnen sehen, dass das Hinzuf\u00fcgen von mehr als zwei Hauptkomponenten den Prozentsatz der erkl\u00e4rten Varianz tats\u00e4chlich nicht wesentlich erh\u00f6ht.<\/span><\/p>\n Wir k\u00f6nnen das endg\u00fcltige Zwei-Hauptkomponenten-PCR-Modell verwenden, um Vorhersagen \u00fcber neue Beobachtungen zu treffen.<\/span><\/p>\n Der folgende Code zeigt, wie Sie den Originaldatensatz in einen Trainings- und einen Testsatz aufteilen und das PCR-Modell mit zwei Hauptkomponenten verwenden, um Vorhersagen f\u00fcr den Testsatz zu treffen.<\/span><\/p>\n\n
Schritt 1: Importieren Sie die erforderlichen Pakete<\/strong><\/span><\/h3>\n
import<\/span> numpy as<\/span> np\nimport<\/span> pandas as<\/span> pd\nimport<\/span> matplotlib. pyplot<\/span> as<\/span> plt\nfrom<\/span> sklearn. preprocessing<\/span> import<\/span> scale \nfrom<\/span> sklearn import<\/span> model_selection\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> RepeatedKFold\nfrom<\/span> sklearn.model_selection import<\/span> train_test_split\nfrom<\/span> sklearn. PCA import<\/span> decomposition<\/span>\nfrom<\/span> sklearn. linear_model<\/span> import<\/span> LinearRegression\nfrom<\/span> sklearn. metrics<\/span> import<\/span> mean_squared_error\n<\/strong><\/span><\/pre>\n Schritt 2: Daten laden<\/strong><\/span><\/h3>\n
\n
#define URL where data is located\n<\/span>url = \"https:\/\/raw.githubusercontent.com\/Statorials\/Python-Guides\/main\/mtcars.csv\"\n\n#read in data\n<\/span>data_full = pd. read_csv<\/span> (url)\n\n#select subset of data\n<\/span>data = data_full[[\"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\", \"hp\"]]\n\n#view first six rows of data\n<\/span>data[0:6]\n\n\n mpg disp drat wt qsec hp\n0 21.0 160.0 3.90 2.620 16.46 110\n1 21.0 160.0 3.90 2.875 17.02 110\n2 22.8 108.0 3.85 2.320 18.61 93\n3 21.4 258.0 3.08 3.215 19.44 110\n4 18.7 360.0 3.15 3.440 17.02 175\n5 18.1 225.0 2.76 3.460 20.22 105<\/strong><\/span><\/pre>\n Schritt 3: Passen Sie das PCR-Modell an<\/strong><\/h3>\n
\n
#define predictor and response variables\n<\/span>X = data[[\"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\"]]\ny = data[[\"hp\"]]\n\n#scale predictor variables\n<\/span>pca = pca()\nX_reduced = pca. fit_transform<\/span> ( scale<\/span> (X))\n\n#define cross validation method\n<\/span>cv = RepeatedKFold(n_splits= 10<\/span> , n_repeats= 3<\/span> , random_state= 1<\/span> )\n\nregr = LinearRegression()\nmse = []\n\n# Calculate MSE with only the intercept\n<\/span>score = -1*model_selection. cross_val_score<\/span> (regr,\n n.p. ones<\/span> ((len(X_reduced),1)), y, cv=cv,\n scoring=' neg_mean_squared_error<\/span> '). mean<\/span> () \nmse. append<\/span> (score)\n\n# Calculate MSE using cross-validation, adding one component at a time\n<\/span>for<\/span> i in<\/span> np. arange<\/span> (1, 6):\n score = -1*model_selection. cross_val_score<\/span> (regr,\n X_reduced[:,:i], y, cv=cv, scoring=' neg_mean_squared_error<\/span> '). mean<\/span> ()\n mse. append<\/span> (score)\n \n# Plot cross-validation results \n<\/span>plt. plot<\/span> (mse)\nplt. xlabel<\/span> ('Number of Principal Components')\nplt. ylabel<\/span> ('MSE')\nplt. title<\/span> ('hp')<\/strong><\/span> <\/pre>\n![\"Hauptkomponentenregression](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcrpython1.png\")
<\/h3>\n n.p. cumsum<\/span> (np. round<\/span> (pca. explained_variance_ratio_<\/span> , decimals= 4<\/span> )* 100<\/span> )\n\narray([69.83, 89.35, 95.88, 98.95, 99.99])\n<\/strong><\/span><\/pre>\n\n
Schritt 4: Verwenden Sie das endg\u00fcltige Modell, um Vorhersagen zu treffen<\/strong><\/span><\/h3>\n
#split the dataset into training (70%) and testing (30%) sets\n<\/span>X_train,X_test,y_train,y_test = train_test_split<\/span> (X,y,test_size= 0.3<\/span> , random_state= 0<\/span> ) \n\n#scale the training and testing data\n<\/span>X_reduced_train = pca. fit_transform<\/span> ( scale<\/span> (X_train))\nX_reduced_test = pca. transform<\/span> ( scale<\/span> (X_test))[:,:1]\n\n#train PCR model on training data \n<\/span>regr = LinearRegression()\nreg. fit<\/span> (X_reduced_train[:,:1], y_train)\n\n#calculate RMSE\n<\/span>pred = regr. predict<\/span> (X_reduced_test)\nn.p. sqrt<\/span> ( mean_squared_error<\/span> (y_test, pred))\n\n40.2096\n<\/strong><\/span><\/pre>\n