RSS = \u03a3(y saya<\/sub> \u2013 \u0177 saya<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Emas:<\/span><\/p>\n Namun, ketika variabel prediktor berkorelasi tinggi,<\/span> multikolinearitas<\/a> bisa menjadi masalah. Hal ini dapat membuat estimasi koefisien model tidak dapat diandalkan dan menunjukkan varians yang tinggi.<\/span><\/p>\n Salah satu cara untuk menghindari masalah ini adalah dengan menggunakan regresi komponen utama<\/a> , yang menemukan M<\/em> kombinasi linier (disebut “komponen utama”) dari prediktor p<\/em> asli dan kemudian menggunakan kuadrat terkecil agar sesuai dengan model regresi linier yang menggunakan komponen utama sebagai prediktor.<\/span><\/p>\n Tutorial ini memberikan contoh langkah demi langkah tentang cara melakukan regresi komponen utama di R.<\/span><\/p>\n Cara termudah untuk melakukan regresi komponen utama di R adalah dengan menggunakan fungsi dalam paket pls<\/a> .<\/span><\/p>\n Untuk contoh ini, kita akan menggunakan kumpulan data R bawaan yang disebut mtcars<\/strong> yang berisi data tentang berbagai jenis mobil:<\/span><\/p>\n Untuk contoh ini, kami akan menyesuaikan model regresi komponen utama (PCR) dengan menggunakan hp<\/em> sebagai variabel respons<\/a> dan variabel berikut sebagai variabel prediktor:<\/span><\/p>\n Kode berikut menunjukkan cara menyesuaikan model PCR dengan data ini. Perhatikan argumen berikut:<\/span><\/p>\n Setelah kita menyesuaikan modelnya, kita perlu menentukan berapa banyak komponen utama yang layak dipertahankan.<\/span><\/p>\n Untuk melakukannya, cukup lihat uji root mean square error (uji RMSE) yang dihitung dengan validasi k-cross:<\/span><\/p>\n Hasilnya ada dua tabel menarik:<\/span><\/p>\n 1. VALIDASI: RMSEP<\/strong><\/span><\/p>\n Tabel ini menunjukkan pengujian RMSE yang dihitung dengan validasi k-fold cross. Kita dapat melihat hal berikut:<\/span><\/p>\n Kita dapat melihat bahwa menambahkan komponen utama tambahan sebenarnya menghasilkan peningkatan RMSE pengujian. Oleh karena itu, tampaknya optimal jika hanya menggunakan dua komponen utama dalam model akhir.<\/span><\/p>\n 2. PELATIHAN: % varians dijelaskan<\/strong><\/span><\/p>\n Tabel ini menunjukkan persentase variansi variabel respon yang dijelaskan oleh komponen utama. Kita dapat melihat hal berikut:<\/span><\/p>\n Perhatikan bahwa kita masih dapat menjelaskan lebih banyak varians dengan menggunakan lebih banyak komponen utama, namun kita dapat melihat bahwa menambahkan lebih dari dua komponen utama tidak benar-benar meningkatkan persentase varians yang dijelaskan sebanyak itu.<\/span><\/p>\n Kita juga dapat memvisualisasikan pengujian RMSE (bersama dengan pengujian MSE dan R-squared) sebagai fungsi dari jumlah komponen utama menggunakan fungsi validationplot()<\/strong> .<\/span> <\/p>\n Di setiap grafik, kita dapat melihat bahwa kecocokan model meningkat dengan menambahkan dua komponen utama, namun cenderung memburuk ketika kita menambahkan lebih banyak komponen utama.<\/span><\/p>\n Dengan demikian, model optimal hanya mencakup dua komponen utama pertama.<\/span><\/p>\n Kita dapat menggunakan model PCR dua komponen utama terakhir untuk membuat prediksi tentang observasi baru.<\/span><\/p>\n Kode berikut menunjukkan cara membagi kumpulan data asli menjadi kumpulan pelatihan dan pengujian serta menggunakan model PCR dengan dua komponen utama untuk membuat prediksi pada kumpulan pengujian.<\/span><\/p>\n\n
Langkah 1: Muat paket yang diperlukan<\/strong><\/span><\/h3>\n
#install pls package (if not already installed)<\/span>\ninstall.packages(\" pls<\/span> \")\n\nload pls package\n<\/span>library(pls)\n<\/strong><\/pre>\n Langkah 2: Sesuaikan model PCR<\/strong><\/span><\/h3>\n
#view first six rows of mtcars dataset<\/span>\nhead(mtcars)\n\n mpg cyl disp hp drat wt qsec vs am gear carb\nMazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4\nMazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4\nDatsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1\nHornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1\nHornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2\nValiant 18.1 6 225 105 2.76 3,460 20.22 1 0 3 1\n<\/strong><\/pre>\n\n
\n
#make this example reproducible\n<\/span>set.seed(1)\n\n#fit PCR model\n<\/span>model <- pcr(hp~mpg+disp+drat+wt+qsec, data=mtcars, scale= TRUE<\/span> , validation=\" CV<\/span> \")<\/strong><\/pre>\n Langkah 3: Pilih jumlah komponen utama<\/strong><\/span><\/h3>\n
#view summary of model fitting\n<\/span>summary(model)\n\nData: \n\tY dimension: 32 1\nFit method: svdpc\nNumber of components considered: 5\n\nVALIDATION: RMSEP\nCross-validated using 10 random segments.\n (Intercept) 1 comp 2 comps 3 comps 4 comps 5 comps\nCV 69.66 44.56 35.64 35.83 36.23 36.67\nadjCV 69.66 44.44 35.27 35.43 35.80 36.20\n\nTRAINING: % variance explained\n 1 comp 2 comps 3 comps 4 comps 5 comps\nX 69.83 89.35 95.88 98.96 100.00\nhp 62.38 81.31 81.96 81.98 82.03\n<\/strong><\/pre>\n\n
\n
#visualize cross-validation plots\n<\/span>validationplot(model)\nvalidationplot(model, val.type=\"MSEP\")\nvalidationplot(model, val.type=\"R2\")<\/strong> <\/pre>\n![\"Regresi](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr1.png\")
<\/p>\n![\"Plot](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr2.png\")
<\/p>\n![\"Regresi](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/pcr3.png\")
<\/p>\n Langkah 4: Gunakan model akhir untuk membuat prediksi<\/strong><\/span><\/h3>\n
#define training and testing sets\n<\/span>train <- mtcars[1:25, c(\"hp\", \"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\")]\ny_test <- mtcars[26: nrow<\/span> (mtcars), c(\"hp\")]\ntest <- mtcars[26: nrow<\/span> (mtcars), c(\"mpg\", \"disp\", \"drat\", \"wt\", \"qsec\")]\n \n#use model to make predictions on a test set\n<\/span>model <- pcr(hp~mpg+disp+drat+wt+qsec, data=train, scale= TRUE<\/span> , validation=\" CV<\/span> \")\npcr_pred <- predict(model, test, ncomp= 2<\/span> )\n\n#calculate RMSE\n<\/span>sqrt<\/span> ( mean<\/span> ((pcr_pred - y_test)^2))\n\n[1] 56.86549\n<\/strong><\/pre>\n