k-voudige kruisvalidatie<\/a> te gebruiken om de modelprestaties te evalueren. Voor dit voorbeeld kiezen we k = 10 vouwen, 3 keer herhaald.<\/span> <\/li>\n<\/ul>\n #define predictor and response variables\n<\/span>X = data[[\"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\"]]\ny = data[[\"hp\"]]\n\n#scale predictor variables\n<\/span>pca = pca()\nX_reduced = pca. fit_transform<\/span> ( scale<\/span> (X))\n\n#define cross validation method\n<\/span>cv = RepeatedKFold(n_splits= 10<\/span> , n_repeats= 3<\/span> , random_state= 1<\/span> )\n\nregr = LinearRegression()\nmse = []\n\n# Calculate MSE with only the intercept\n<\/span>score = -1*model_selection. cross_val_score<\/span> (regr,\n n.p. ones<\/span> ((len(X_reduced),1)), y, cv=cv,\n scoring=' neg_mean_squared_error<\/span> '). mean<\/span> () \nmse. append<\/span> (score)\n\n# Calculate MSE using cross-validation, adding one component at a time\n<\/span>for<\/span> i in<\/span> np. arange<\/span> (1, 6):\n score = -1*model_selection. cross_val_score<\/span> (regr,\n X_reduced[:,:i], y, cv=cv, scoring=' neg_mean_squared_error<\/span> '). mean<\/span> ()\n mse. append<\/span> (score)\n \n# Plot cross-validation results \n<\/span>plt. plot<\/span> (mse)\nplt. xlabel<\/span> ('Number of Principal Components')\nplt. ylabel<\/span> ('MSE')\nplt. title<\/span> ('hp')<\/strong><\/span> <\/pre>\n![\"Regressie](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcrpython1.png\")
<\/h3>\n
De plot toont het aantal hoofdcomponenten langs de x-as en de MSE-test (mean square error) langs de y-as.<\/span><\/p>\n Uit de grafiek kunnen we zien dat de MSE van de test afneemt als we twee hoofdcomponenten toevoegen, maar begint te stijgen als we meer dan twee hoofdcomponenten toevoegen.<\/span><\/p>\n Het optimale model omvat dus alleen de eerste twee hoofdcomponenten.<\/span><\/p>\n We kunnen ook de volgende code gebruiken om het variantiepercentage in de responsvariabele te berekenen, verklaard door elke hoofdcomponent aan het model toe te voegen:<\/span><\/p>\n n.p. cumsum<\/span> (np. round<\/span> (pca. explained_variance_ratio_<\/span> , decimals= 4<\/span> )* 100<\/span> )\n\narray([69.83, 89.35, 95.88, 98.95, 99.99])\n<\/strong><\/span><\/pre>\n We kunnen het volgende zien:<\/span><\/p>\n\n- Met alleen de eerste hoofdcomponent kunnen we 69,83%<\/strong> van de variatie in de responsvariabele verklaren.<\/span><\/li>\n
- Door de tweede hoofdcomponent toe te voegen, kunnen we 89,35%<\/strong> van de variatie in de responsvariabele verklaren.<\/span><\/li>\n<\/ul>\n
Merk op dat we nog steeds meer variantie kunnen verklaren door meer hoofdcomponenten te gebruiken, maar we kunnen zien dat het toevoegen van meer dan twee hoofdcomponenten het percentage verklaarde variantie feitelijk niet veel verhoogt.<\/span><\/p>\n