<\/p>\n
Untuk menilai seberapa baik suatu model dapat menyesuaikan dengan kumpulan data, kita perlu menganalisis kinerjanya berdasarkan observasi yang belum pernah dilihat sebelumnya.<\/span><\/p>\n Salah satu cara paling umum untuk mencapai hal ini adalah dengan menggunakan k-fold cross-validation<\/a> , yang menggunakan pendekatan berikut:<\/span><\/p>\n 1.<\/strong> Bagi kumpulan data secara acak menjadi k<\/em> kelompok, atau \u201clipatan\u201d, yang ukurannya kira-kira sama.<\/span><\/p>\n 2.<\/strong> Pilih salah satu lipatan sebagai set penahan. Sesuaikan template dengan sisa k-1 lipatan. Hitung uji MSE pada pengamatan pada lapisan yang dikencangkan.<\/span><\/p>\n 3.<\/strong> Ulangi proses ini sebanyak k<\/em> kali, setiap kali menggunakan himpunan berbeda sebagai himpunan pengecualian.<\/span><\/p>\n 4.<\/strong> Hitung UMK uji keseluruhan sebagai rata-rata UMK uji k<\/em> .<\/span><\/p>\n Cara termudah untuk melakukan validasi silang k-fold di R adalah dengan menggunakan fungsi trainControl()<\/strong> dan train()<\/strong> dari perpustakaan caret<\/strong> di R.<\/span><\/p>\n Fungsi trainControl()<\/strong> digunakan untuk menentukan parameter pelatihan (misalnya jenis validasi silang yang akan digunakan, jumlah lipatan yang akan digunakan, dll.) dan fungsi train()<\/strong> digunakan untuk benar-benar menyesuaikan model dengan data. .<\/span><\/p>\n Contoh berikut menunjukkan cara menggunakan fungsi trainControl()<\/strong> dan train()<\/strong> dalam praktiknya.<\/span><\/p>\n Misalkan kita memiliki kumpulan data berikut di R:<\/span><\/p>\n Sekarang misalkan kita menggunakan fungsi lm()<\/a> untuk menyesuaikan model regresi linier berganda<\/a> dengan kumpulan data ini, menggunakan x1<\/strong> dan x2<\/strong> sebagai variabel prediktor dan y<\/strong> sebagai variabel respons:<\/span><\/p>\n Dengan menggunakan koefisien pada keluaran model, kita dapat menulis model regresi yang sesuai:<\/span><\/p>\n kamu = 21,2672 + 0,7803*(x 1<\/sub> ) \u2013 1,1253(x 2<\/sub> )<\/strong><\/span><\/p>\n Untuk mendapatkan gambaran seberapa baik kinerja model ini pada pengamatan<\/a> yang tidak terlihat, kita dapat menggunakan validasi silang k-fold.<\/span><\/p>\n Kode berikut menunjukkan cara menggunakan fungsi trainControl()<\/strong> paket tanda sisipan<\/strong> untuk menentukan validasi silang k-fold ( method=”cv”<\/strong> ) yang menggunakan 5 lipatan ( number=5<\/strong> ).<\/span><\/p>\n Kami kemudian meneruskan fungsi trainControl()<\/strong> ini ke fungsi train()<\/strong> untuk benar-benar melakukan validasi silang k-fold:<\/span><\/p>\n Dari hasil tersebut terlihat bahwa model dipasang sebanyak 5<\/strong> kali dengan menggunakan ukuran sampel sebanyak 8<\/strong> observasi setiap kali pemasangan.<\/span><\/p>\n Setiap kali, model tersebut kemudian digunakan untuk memprediksi nilai dari 2<\/strong> observasi yang dipertahankan dan metrik berikut dihitung setiap kali:<\/span><\/p>\n Rata-rata nilai RMSE dan MAE untuk kelima komponen ditampilkan pada hasil:<\/span><\/p>\n Metrik ini memberi kita gambaran tentang performa model pada data baru.<\/span><\/p>\n Dalam praktiknya, kami biasanya menyesuaikan beberapa model berbeda dan membandingkan metrik ini untuk menentukan model mana yang memiliki performa terbaik pada data yang tidak terlihat.<\/span><\/p>\n Misalnya, kita dapat menyesuaikan model regresi polinomial<\/a> dan melakukan validasi silang K-fold untuk melihat bagaimana metrik RMSE dan MAE dibandingkan dengan model regresi linier berganda.<\/span><\/p>\n Catatan #1:<\/strong> Dalam contoh ini, kami memilih untuk menggunakan k=5 lipatan, namun Anda dapat memilih jumlah lipatan berapa pun yang Anda inginkan. Dalam praktiknya, kami biasanya memilih antara 5 dan 10 lapis, karena ini terbukti merupakan jumlah lapis optimal yang menghasilkan tingkat kesalahan pengujian yang dapat diandalkan.<\/span><\/p>\n Catatan #2<\/strong> : Fungsi trainControl()<\/strong> menerima banyak argumen potensial. Anda dapat menemukan dokumentasi lengkap untuk fungsi ini di sini<\/a> .<\/span><\/p>\n Tutorial berikut memberikan informasi tambahan tentang model pelatihan:<\/span><\/p>\n Pengantar Validasi Silang K-Fold<\/a> Untuk menilai seberapa baik suatu model dapat menyesuaikan dengan kumpulan data, kita perlu menganalisis kinerjanya berdasarkan observasi yang belum pernah dilihat sebelumnya. Salah satu cara paling umum untuk mencapai hal ini adalah dengan menggunakan k-fold cross-validation , yang menggunakan pendekatan berikut: 1. Bagi kumpulan data secara acak menjadi k kelompok, atau \u201clipatan\u201d, yang ukurannya kira-kira […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n Contoh: Cara menggunakan trainControl() di R<\/strong><\/span><\/h2>\n
#create data frame<\/span>\ndf <- data.frame(y=c(6, 8, 12, 14, 14, 15, 17, 22, 24, 23),\n x1=c(2, 5, 4, 3, 4, 6, 7, 5, 8, 9),\n x2=c(14, 12, 12, 13, 7, 8, 7, 4, 6, 5))\n\n#view data frame\n<\/span>df\n\ny x1 x2\n6 2 14\n8 5 12\n12 4 12\n14 3 13\n14 4 7\n15 6 8\n17 7 7\n22 5 4\n24 8 6\n23 9 5\n<\/strong><\/pre>\n #fit multiple linear regression model to data<\/span>\nfit <- lm(y ~ x1 + x2, data=df)\n\n#view model summary\n<\/span>summary(fit)\n\nCall:\nlm(formula = y ~ x1 + x2, data = df)\n\nResiduals:\n Min 1Q Median 3Q Max \n-3.6650 -1.9228 -0.3684 1.2783 5.0208 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 21.2672 6.9927 3.041 0.0188 *\nx1 0.7803 0.6942 1.124 0.2981 \nx2 -1.1253 0.4251 -2.647 0.0331 *\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 3.093 on 7 degrees of freedom\nMultiple R-squared: 0.801, Adjusted R-squared: 0.7441 \nF-statistic: 14.09 on 2 and 7 DF, p-value: 0.003516\n<\/strong><\/pre>\n library<\/span> (caret)<\/span>\n\n#specify the cross-validation method<\/span>\nctrl <- trainControl(method = \" cv<\/span> \", number = 5<\/span> )\n\n#fit a regression model and use k-fold CV to evaluate performance\n<\/span>model <- train(y ~ x1 + x2, data = df, method = \" lm<\/span> \", trControl = ctrl)\n\n#view summary of k-fold CV \n<\/span>print<\/span> (model)\n\nLinear Regression \n\n10 samples\n 2 predictors\n\nNo pre-processing\nResampling: Cross-Validated (5 fold) \nSummary of sample sizes: 8, 8, 8, 8, 8 \nResampling results:\n\n RMSE Rsquared MAE \n 3.612302 1 3.232153\n\nTuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n\n
\n
Sumber daya tambahan<\/strong><\/span><\/h2>\n
Pengantar Validasi Silang Tinggalkan Satu Keluar<\/a>
Apa yang dimaksud dengan overfitting dalam pembelajaran mesin?<\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"