la convalida incrociata k-fold<\/a> per valutare le prestazioni del modello. Per questo esempio scegliamo k = 10 pieghe, ripetute 3 volte.<\/span> <\/li>\n<\/ul>\n #define predictor and response variables\n<\/span>X = data[[\"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\"]]\ny = data[[\"hp\"]]\n\n#scale predictor variables\n<\/span>pca = pca()\nX_reduced = pca. fit_transform<\/span> ( scale<\/span> (X))\n\n#define cross validation method\n<\/span>cv = RepeatedKFold(n_splits= 10<\/span> , n_repeats= 3<\/span> , random_state= 1<\/span> )\n\nregr = LinearRegression()\nmse = []\n\n# Calculate MSE with only the intercept\n<\/span>score = -1*model_selection. cross_val_score<\/span> (regr,\n n.p. ones<\/span> ((len(X_reduced),1)), y, cv=cv,\n scoring=' neg_mean_squared_error<\/span> '). mean<\/span> () \nmse. append<\/span> (score)\n\n# Calculate MSE using cross-validation, adding one component at a time\n<\/span>for<\/span> i in<\/span> np. arange<\/span> (1, 6):\n score = -1*model_selection. cross_val_score<\/span> (regr,\n X_reduced[:,:i], y, cv=cv, scoring=' neg_mean_squared_error<\/span> '). mean<\/span> ()\n mse. append<\/span> (score)\n \n# Plot cross-validation results \n<\/span>plt. plot<\/span> (mse)\nplt. xlabel<\/span> ('Number of Principal Components')\nplt. ylabel<\/span> ('MSE')\nplt. title<\/span> ('hp')<\/strong><\/span> <\/pre>\n![\"Regressione](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcrpython1.png\")
<\/h3>\n
Il grafico mostra il numero di componenti principali lungo l’asse x e il test MSE (errore quadratico medio) lungo l’asse y.<\/span><\/p>\n Dal grafico possiamo vedere che l’MSE del test diminuisce aggiungendo due componenti principali, ma inizia ad aumentare quando aggiungiamo pi\u00f9 di due componenti principali.<\/span><\/p>\n Pertanto, il modello ottimale include solo le prime due componenti principali.<\/span><\/p>\n Possiamo anche utilizzare il codice seguente per calcolare la percentuale di varianza nella variabile di risposta spiegata aggiungendo ciascuna componente principale al modello:<\/span><\/p>\n n.p. cumsum<\/span> (np. round<\/span> (pca. explained_variance_ratio_<\/span> , decimals= 4<\/span> )* 100<\/span> )\n\narray([69.83, 89.35, 95.88, 98.95, 99.99])\n<\/strong><\/span><\/pre>\n Possiamo vedere quanto segue:<\/span><\/p>\n\n- Utilizzando solo la prima componente principale, possiamo spiegare il 69,83%<\/strong> della variazione della variabile di risposta.<\/span><\/li>\n
- Aggiungendo la seconda componente principale, possiamo spiegare l’ 89,35%<\/strong> della variazione della variabile di risposta.<\/span><\/li>\n<\/ul>\n
Si noti che saremo comunque in grado di spiegare una maggiore varianza utilizzando pi\u00f9 componenti principali, ma possiamo vedere che l’aggiunta di pi\u00f9 di due componenti principali in realt\u00e0 non aumenta di molto la percentuale della varianza spiegata.<\/span><\/p>\n