<\/p>\n
Om te beoordelen hoe goed een model in een dataset past, moeten we de prestaties ervan analyseren op basis van waarnemingen die het nog nooit eerder heeft gezien.<\/span><\/p>\n Een van de meest gebruikelijke manieren om dit te bereiken is het gebruik van k-voudige kruisvalidatie<\/a> , waarbij de volgende aanpak wordt gebruikt:<\/span><\/p>\n 1.<\/strong> Verdeel een dataset willekeurig in k<\/em> groepen, of \u2018vouwen\u2019, van ongeveer gelijke grootte.<\/span><\/p>\n 2.<\/strong> Kies een van de vouwen als bevestigingsset. Pas de sjabloon aan de resterende k-1-vouwen aan. Bereken de MSE-proef op de waarnemingen in de gespannen lamel.<\/span><\/p>\n 3.<\/strong> Herhaal dit proces k<\/em> keer, telkens met een andere set als uitsluitingsset.<\/span><\/p>\n 4.<\/strong> Bereken de totale test-MSE als het gemiddelde van de k-<\/em> test-MSE’s.<\/span><\/p>\n De eenvoudigste manier om k-voudige kruisvalidatie uit te voeren in R is door de functies trainControl()<\/strong> en train()<\/strong> uit de caret-<\/strong> bibliotheek in R te gebruiken.<\/span><\/p>\n De functie trainControl()<\/strong> wordt gebruikt om de trainingsparameters te specificeren (bijvoorbeeld het type kruisvalidatie dat moet worden gebruikt, het aantal te gebruiken vouwen, enz.) en de functie train()<\/strong> wordt gebruikt om het model daadwerkelijk aan de gegevens aan te passen. .<\/span><\/p>\n Het volgende voorbeeld laat zien hoe u de functies trainControl()<\/strong> en train()<\/strong> in de praktijk kunt gebruiken.<\/span><\/p>\n Stel dat we de volgende dataset in R hebben:<\/span><\/p>\n Stel nu dat we de functie lm()<\/a> gebruiken om een meervoudig lineair regressiemodel<\/a> aan deze dataset aan te passen, waarbij we x1<\/strong> en x2<\/strong> als voorspellende variabelen gebruiken en y<\/strong> als de responsvariabele:<\/span><\/p>\n Met behulp van de co\u00ebffici\u00ebnten in de modeluitvoer kunnen we het gepaste regressiemodel schrijven:<\/span><\/p>\n y = 21,2672 + 0,7803*(x 1<\/sub> ) \u2013 1,1253(x 2<\/sub> )<\/strong><\/span><\/p>\n Om een idee te krijgen van hoe goed dit model presteert op onzichtbare waarnemingen<\/a> , kunnen we k-voudige kruisvalidatie gebruiken.<\/span><\/p>\n De volgende code laat zien hoe u de trainControl()<\/strong> -functie van het caret-<\/strong> pakket kunt gebruiken om k-fold kruisvalidatie ( method=“cv“<\/strong> ) op te geven die 5 folds ( number=5<\/strong> ) gebruikt.<\/span><\/p>\n Vervolgens geven we deze trainControl()-<\/strong> functie door aan de train()<\/strong> -functie om daadwerkelijk de k-voudige kruisvalidatie uit te voeren:<\/span><\/p>\n Uit het resultaat kunnen we opmaken dat het model vijf<\/strong> keer werd aangepast met een steekproefomvang van telkens acht<\/strong> waarnemingen.<\/span><\/p>\n Telkens werd het model vervolgens gebruikt om de waarden van de 2<\/strong> bewaarde waarnemingen te voorspellen en telkens werden de volgende statistieken berekend:<\/span><\/p>\n In het resultaat wordt het gemiddelde van de RMSE- en MAE-waarden voor de vijf componenten weergegeven:<\/span><\/p>\n Deze statistieken geven ons een idee van de prestaties van het model op nieuwe gegevens.<\/span><\/p>\n In de praktijk passen we doorgaans verschillende modellen toe en vergelijken we deze statistieken om te bepalen welk model het beste presteert op onzichtbare gegevens.<\/span><\/p>\n We zouden bijvoorbeeld een polynoom regressiemodel<\/a> kunnen passen en er K-voudige kruisvalidatie op kunnen uitvoeren om te zien hoe de RMSE- en MAE-metrieken zich verhouden tot het meervoudige lineaire regressiemodel.<\/span><\/p>\n Opmerking #1:<\/strong> In dit voorbeeld kiezen we ervoor om k=5 vouwen te gebruiken, maar u kunt elk gewenst aantal vouwen kiezen. In de praktijk kiezen we doorgaans tussen 5 en 10 lagen, omdat dit het optimale aantal lagen blijkt te zijn dat betrouwbare testfoutpercentages oplevert.<\/span><\/p>\n Opmerking #2<\/strong> : De functie trainControl()<\/strong> accepteert veel potenti\u00eble argumenten. De volledige documentatie voor deze functie vindt u hier<\/a> .<\/span><\/p>\n De volgende zelfstudies bieden aanvullende informatie over trainingsmodellen:<\/span><\/p>\n Inleiding tot K-voudige kruisvalidatie<\/a> Om te beoordelen hoe goed een model in een dataset past, moeten we de prestaties ervan analyseren op basis van waarnemingen die het nog nooit eerder heeft gezien. Een van de meest gebruikelijke manieren om dit te bereiken is het gebruik van k-voudige kruisvalidatie , waarbij de volgende aanpak wordt gebruikt: 1. Verdeel een dataset […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-4507","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n Voorbeeld: Hoe trainControl() te gebruiken in R<\/strong><\/span><\/h2>\n
#create data frame<\/span>\ndf <- data.frame(y=c(6, 8, 12, 14, 14, 15, 17, 22, 24, 23),\n x1=c(2, 5, 4, 3, 4, 6, 7, 5, 8, 9),\n x2=c(14, 12, 12, 13, 7, 8, 7, 4, 6, 5))\n\n#view data frame\n<\/span>df\n\ny x1 x2\n6 2 14\n8 5 12\n12 4 12\n14 3 13\n14 4 7\n15 6 8\n17 7 7\n22 5 4\n24 8 6\n23 9 5\n<\/strong><\/pre>\n #fit multiple linear regression model to data<\/span>\nfit <- lm(y ~ x1 + x2, data=df)\n\n#view model summary\n<\/span>summary(fit)\n\nCall:\nlm(formula = y ~ x1 + x2, data = df)\n\nResiduals:\n Min 1Q Median 3Q Max \n-3.6650 -1.9228 -0.3684 1.2783 5.0208 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 21.2672 6.9927 3.041 0.0188 *\nx1 0.7803 0.6942 1.124 0.2981 \nx2 -1.1253 0.4251 -2.647 0.0331 *\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 3.093 on 7 degrees of freedom\nMultiple R-squared: 0.801, Adjusted R-squared: 0.7441 \nF-statistic: 14.09 on 2 and 7 DF, p-value: 0.003516\n<\/strong><\/pre>\n library<\/span> (caret)<\/span>\n\n#specify the cross-validation method<\/span>\nctrl <- trainControl(method = \" cv<\/span> \", number = 5<\/span> )\n\n#fit a regression model and use k-fold CV to evaluate performance\n<\/span>model <- train(y ~ x1 + x2, data = df, method = \" lm<\/span> \", trControl = ctrl)\n\n#view summary of k-fold CV \n<\/span>print<\/span> (model)\n\nLinear Regression \n\n10 samples\n 2 predictors\n\nNo pre-processing\nResampling: Cross-Validated (5 fold) \nSummary of sample sizes: 8, 8, 8, 8, 8 \nResampling results:\n\n RMSE Rsquared MAE \n 3.612302 1 3.232153\n\nTuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n\n
\n
Aanvullende bronnen<\/strong><\/span><\/h2>\n
Inleiding tot Leave-One-Out-kruisvalidatie<\/a>
Wat is overfitting in machine learning?<\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"