<\/p>\n
Aby oceni\u0107, jak dobrze model jest w stanie dopasowa\u0107 si\u0119 do zbioru danych, musimy przeanalizowa\u0107 jego dzia\u0142anie na podstawie obserwacji, kt\u00f3rych nigdy wcze\u015bniej nie widzia\u0142.<\/span><\/p>\n Jednym z najcz\u0119stszych sposob\u00f3w osi\u0105gni\u0119cia tego jest u\u017cycie k-krotnej walidacji krzy\u017cowej<\/a> , kt\u00f3ra wykorzystuje nast\u0119puj\u0105ce podej\u015bcie:<\/span><\/p>\n 1.<\/strong> Losowo podziel zbi\u00f3r danych na k<\/em> grup, czyli \u201efa\u0142d\u201d, o mniej wi\u0119cej r\u00f3wnej wielko\u015bci.<\/span><\/p>\n 2.<\/strong> Wybierz jedn\u0105 z zagi\u0119\u0107 jako zestaw utwierdzaj\u0105cy. Dopasuj szablon do pozosta\u0142ych zak\u0142adek k-1. Oblicz test MSE na podstawie obserwacji w napr\u0119\u017conej warstwie.<\/span><\/p>\n 3.<\/strong> Powt\u00f3rz ten proces k<\/em> razy, za ka\u017cdym razem u\u017cywaj\u0105c innego zbioru jako zbioru wykluczaj\u0105cego.<\/span><\/p>\n 4.<\/strong> Oblicz og\u00f3lny test MSE jako \u015bredni\u0105 k<\/em> MSE testu.<\/span><\/p>\n Naj\u0142atwiejszym sposobem przeprowadzenia k-krotnej walidacji krzy\u017cowej w R jest u\u017cycie funkcji trainControl()<\/strong> i train()<\/strong> z biblioteki caret<\/strong> w R.<\/span><\/p>\n Funkcja trainControl()<\/strong> s\u0142u\u017cy do okre\u015blania parametr\u00f3w szkoleniowych (np. rodzaj stosowanej walidacji krzy\u017cowej, liczba powt\u00f3rze\u0144 itp.), a funkcja train()<\/strong> s\u0142u\u017cy do faktycznego dopasowania modelu do danych. .<\/span><\/p>\n Poni\u017cszy przyk\u0142ad pokazuje, jak w praktyce u\u017cywa\u0107 funkcji trainControl()<\/strong> i train()<\/strong> .<\/span><\/p>\n Za\u0142\u00f3\u017cmy, \u017ce mamy nast\u0119puj\u0105cy zbi\u00f3r danych w R:<\/span><\/p>\n Za\u0142\u00f3\u017cmy teraz, \u017ce u\u017cywamy funkcji lm()<\/a> , aby dopasowa\u0107 model regresji liniowej<\/a> do tego zbioru danych, u\u017cywaj\u0105c x1<\/strong> i x2<\/strong> jako zmiennych predykcyjnych oraz y<\/strong> jako zmiennej odpowiedzi:<\/span><\/p>\n Wykorzystuj\u0105c wsp\u00f3\u0142czynniki z wynik\u00f3w modelu, mo\u017cemy napisa\u0107 dopasowany model regresji:<\/span><\/p>\n y = 21,2672 + 0,7803*(x 1<\/sub> ) \u2013 1,1253 (x 2<\/sub> )<\/strong><\/span><\/p>\n Aby zorientowa\u0107 si\u0119, jak dobrze ten model radzi sobie z niewidzialnymi obserwacjami<\/a> , mo\u017cemy zastosowa\u0107 k-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105.<\/span><\/p>\n Poni\u017cszy kod pokazuje, jak u\u017cywa\u0107 funkcji trainControl()<\/strong> pakietu cart<\/strong> do okre\u015blenia k-krotnej walidacji krzy\u017cowej ( method=”cv”<\/strong> ), kt\u00f3ra wykorzystuje 5 przypadk\u00f3w ( number=5<\/strong> ).<\/span><\/p>\n Nast\u0119pnie przekazujemy t\u0119 funkcj\u0119 trainControl()<\/strong> do funkcji train()<\/strong> , aby faktycznie przeprowadzi\u0107 k-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105:<\/span><\/p>\n Z wyniku wida\u0107, \u017ce model by\u0142 dopasowywany 5<\/strong> razy, za ka\u017cdym razem na pr\u00f3bie licz\u0105cej 8<\/strong> obserwacji.<\/span><\/p>\n Za ka\u017cdym razem model wykorzystywano nast\u0119pnie do przewidywania warto\u015bci 2<\/strong> zachowanych obserwacji i za ka\u017cdym razem obliczano nast\u0119puj\u0105ce metryki:<\/span><\/p>\n W wyniku wy\u015bwietlana jest \u015brednia warto\u015bci RMSE i MAE dla pi\u0119ciu sk\u0142adnik\u00f3w:<\/span><\/p>\n Metryki te daj\u0105 nam wyobra\u017cenie o wydajno\u015bci modelu na nowych danych.<\/span><\/p>\n W praktyce zazwyczaj dopasowujemy kilka r\u00f3\u017cnych modeli i por\u00f3wnujemy te dane, aby okre\u015bli\u0107, kt\u00f3ry model sprawdza si\u0119 najlepiej w przypadku niewidocznych danych.<\/span><\/p>\n Na przyk\u0142ad mogliby\u015bmy dopasowa\u0107 model regresji wielomianowej<\/a> i przeprowadzi\u0107 na nim k-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105, aby zobaczy\u0107, jak metryki RMSE i MAE wypadaj\u0105 w por\u00f3wnaniu z modelem wielokrotnej regresji liniowej.<\/span><\/p>\n Uwaga nr 1:<\/strong> W tym przyk\u0142adzie zdecydowali\u015bmy si\u0119 u\u017cy\u0107 k=5 fa\u0142d, ale mo\u017cesz wybra\u0107 dowoln\u0105 liczb\u0119 fa\u0142d. W praktyce zazwyczaj wybieramy pomi\u0119dzy 5 a 10 warstwami, poniewa\u017c okazuje si\u0119, \u017ce jest to optymalna liczba warstw, kt\u00f3ra zapewnia wiarygodny poziom b\u0142\u0119d\u00f3w testowych.<\/span><\/p>\n Uwaga nr 2<\/strong> : Funkcja trainControl()<\/strong> akceptuje wiele potencjalnych argument\u00f3w. Pe\u0142n\u0105 dokumentacj\u0119 tej funkcji mo\u017cna znale\u017a\u0107 tutaj<\/a> .<\/span><\/p>\n Poni\u017csze samouczki zawieraj\u0105 dodatkowe informacje na temat modeli szkoleniowych:<\/span><\/p>\n Wprowadzenie do walidacji krzy\u017cowej typu K<\/a> Aby oceni\u0107, jak dobrze model jest w stanie dopasowa\u0107 si\u0119 do zbioru danych, musimy przeanalizowa\u0107 jego dzia\u0142anie na podstawie obserwacji, kt\u00f3rych nigdy wcze\u015bniej nie widzia\u0142. Jednym z najcz\u0119stszych sposob\u00f3w osi\u0105gni\u0119cia tego jest u\u017cycie k-krotnej walidacji krzy\u017cowej , kt\u00f3ra wykorzystuje nast\u0119puj\u0105ce podej\u015bcie: 1. Losowo podziel zbi\u00f3r danych na k grup, czyli \u201efa\u0142d\u201d, o mniej wi\u0119cej r\u00f3wnej […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-4506","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n Przyk\u0142ad: Jak u\u017cywa\u0107 trainControl() w R<\/strong><\/span><\/h2>\n
#create data frame<\/span>\ndf <- data.frame(y=c(6, 8, 12, 14, 14, 15, 17, 22, 24, 23),\n x1=c(2, 5, 4, 3, 4, 6, 7, 5, 8, 9),\n x2=c(14, 12, 12, 13, 7, 8, 7, 4, 6, 5))\n\n#view data frame\n<\/span>df\n\ny x1 x2\n6 2 14\n8 5 12\n12 4 12\n14 3 13\n14 4 7\n15 6 8\n17 7 7\n22 5 4\n24 8 6\n23 9 5\n<\/strong><\/pre>\n #fit multiple linear regression model to data<\/span>\nfit <- lm(y ~ x1 + x2, data=df)\n\n#view model summary\n<\/span>summary(fit)\n\nCall:\nlm(formula = y ~ x1 + x2, data = df)\n\nResiduals:\n Min 1Q Median 3Q Max \n-3.6650 -1.9228 -0.3684 1.2783 5.0208 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 21.2672 6.9927 3.041 0.0188 *\nx1 0.7803 0.6942 1.124 0.2981 \nx2 -1.1253 0.4251 -2.647 0.0331 *\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 3.093 on 7 degrees of freedom\nMultiple R-squared: 0.801, Adjusted R-squared: 0.7441 \nF-statistic: 14.09 on 2 and 7 DF, p-value: 0.003516\n<\/strong><\/pre>\n library<\/span> (caret)<\/span>\n\n#specify the cross-validation method<\/span>\nctrl <- trainControl(method = \" cv<\/span> \", number = 5<\/span> )\n\n#fit a regression model and use k-fold CV to evaluate performance\n<\/span>model <- train(y ~ x1 + x2, data = df, method = \" lm<\/span> \", trControl = ctrl)\n\n#view summary of k-fold CV \n<\/span>print<\/span> (model)\n\nLinear Regression \n\n10 samples\n 2 predictors\n\nNo pre-processing\nResampling: Cross-Validated (5 fold) \nSummary of sample sizes: 8, 8, 8, 8, 8 \nResampling results:\n\n RMSE Rsquared MAE \n 3.612302 1 3.232153\n\nTuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n\n
\n
Dodatkowe zasoby<\/strong><\/span><\/h2>\n
Wprowadzenie do walidacji krzy\u017cowej typu Leave-One-Out<\/a>
Czym jest nadmierne dopasowanie w uczeniu maszynowym?<\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"