<\/p>\n
Para avaliar at\u00e9 que ponto um modelo \u00e9 capaz de se ajustar a um conjunto de dados, precisamos analisar o seu desempenho em observa\u00e7\u00f5es nunca antes vistas.<\/span><\/p>\n Uma das maneiras mais comuns de conseguir isso \u00e9 usar a valida\u00e7\u00e3o cruzada k-fold<\/a> , que usa a seguinte abordagem:<\/span><\/p>\n 1.<\/strong> Divida aleatoriamente um conjunto de dados em k<\/em> grupos, ou \u201cdobras\u201d, de tamanho aproximadamente igual.<\/span><\/p>\n 2.<\/strong> Escolha uma das dobras como conjunto de conten\u00e7\u00e3o. Ajuste o modelo \u00e0s dobras k-1 restantes. Calcule o teste MSE nas observa\u00e7\u00f5es da camada que foi tensionada.<\/span><\/p>\n 3.<\/strong> Repita esse processo k<\/em> vezes, cada vez usando um conjunto diferente como conjunto de exclus\u00e3o.<\/span><\/p>\n 4.<\/strong> Calcule o MSE geral do teste como a m\u00e9dia dos k<\/em> MSEs do teste.<\/span><\/p>\n A maneira mais f\u00e1cil de realizar a valida\u00e7\u00e3o cruzada k-fold em R \u00e9 usar as fun\u00e7\u00f5es trainControl()<\/strong> e train()<\/strong> da biblioteca caret<\/strong> em R.<\/span><\/p>\n A fun\u00e7\u00e3o trainControl()<\/strong> \u00e9 usada para especificar os par\u00e2metros de treinamento (por exemplo, tipo de valida\u00e7\u00e3o cruzada a ser usada, n\u00famero de dobras a serem usadas, etc.) e a fun\u00e7\u00e3o train()<\/strong> \u00e9 usada para realmente ajustar o modelo aos dados. .<\/span><\/p>\n O exemplo a seguir mostra como usar as fun\u00e7\u00f5es trainControl()<\/strong> e train()<\/strong> na pr\u00e1tica.<\/span><\/p>\n Suponha que temos o seguinte conjunto de dados em R:<\/span><\/p>\n Agora suponha que usamos a fun\u00e7\u00e3o lm()<\/a> para ajustar um modelo de regress\u00e3o linear m\u00faltipla<\/a> a este conjunto de dados, usando x1<\/strong> e x2<\/strong> como vari\u00e1veis preditoras e y<\/strong> como vari\u00e1vel de resposta:<\/span><\/p>\n Usando os coeficientes na sa\u00edda do modelo, podemos escrever o modelo de regress\u00e3o ajustado:<\/span><\/p>\n y = 21,2672 + 0,7803*(x 1<\/sub> ) \u2013 1,1253(x 2<\/sub> )<\/strong><\/span><\/p>\n Para ter uma ideia do desempenho deste modelo em observa\u00e7\u00f5es<\/a> invis\u00edveis, podemos usar a valida\u00e7\u00e3o cruzada k-fold.<\/span><\/p>\n O c\u00f3digo a seguir mostra como usar a fun\u00e7\u00e3o trainControl()<\/strong> do pacote circunflexo<\/strong> para especificar a valida\u00e7\u00e3o cruzada k-fold ( method=”cv”<\/strong> ) que usa 5 dobras ( number=5<\/strong> ).<\/span><\/p>\n Em seguida, passamos esta fun\u00e7\u00e3o trainControl()<\/strong> para a fun\u00e7\u00e3o train()<\/strong> para realmente realizar a valida\u00e7\u00e3o cruzada k-fold:<\/span><\/p>\n A partir do resultado podemos ver que o modelo foi ajustado 5<\/strong> vezes usando um tamanho de amostra de 8<\/strong> observa\u00e7\u00f5es cada vez.<\/span><\/p>\n Cada vez, o modelo foi usado para prever os valores das 2<\/strong> observa\u00e7\u00f5es retidas e as seguintes m\u00e9tricas foram calculadas a cada vez:<\/span><\/p>\n A m\u00e9dia dos valores RMSE e MAE dos cinco componentes \u00e9 exibida no resultado:<\/span><\/p>\n Essas m\u00e9tricas nos d\u00e3o uma ideia do desempenho do modelo em novos dados.<\/span><\/p>\n Na pr\u00e1tica, normalmente ajustamos v\u00e1rios modelos diferentes e comparamos essas m\u00e9tricas para determinar qual modelo tem melhor desempenho em dados n\u00e3o vistos.<\/span><\/p>\n Por exemplo, poder\u00edamos ajustar um modelo de regress\u00e3o polinomial<\/a> e realizar uma valida\u00e7\u00e3o cruzada K-fold nele para ver como as m\u00e9tricas RMSE e MAE se comparam ao modelo de regress\u00e3o linear m\u00faltipla.<\/span><\/p>\n Nota n\u00ba 1:<\/strong> neste exemplo, optamos por usar k = 5 dobras, mas voc\u00ea pode escolher qualquer n\u00famero de dobras que desejar. Na pr\u00e1tica, normalmente escolhemos entre 5 e 10 camadas, pois este \u00e9 o n\u00famero ideal de camadas que produz taxas de erro de teste confi\u00e1veis.<\/span><\/p>\n Nota #2<\/strong> : A fun\u00e7\u00e3o trainControl()<\/strong> aceita muitos argumentos potenciais. Voc\u00ea pode encontrar a documenta\u00e7\u00e3o completa para esta fun\u00e7\u00e3o aqui<\/a> .<\/span><\/p>\n Os tutoriais a seguir fornecem informa\u00e7\u00f5es adicionais sobre modelos de treinamento:<\/span><\/p>\n Introdu\u00e7\u00e3o \u00e0 valida\u00e7\u00e3o cruzada K-Fold<\/a> Para avaliar at\u00e9 que ponto um modelo \u00e9 capaz de se ajustar a um conjunto de dados, precisamos analisar o seu desempenho em observa\u00e7\u00f5es nunca antes vistas. Uma das maneiras mais comuns de conseguir isso \u00e9 usar a valida\u00e7\u00e3o cruzada k-fold , que usa a seguinte abordagem: 1. Divida aleatoriamente um conjunto de dados em […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-4506","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\n Exemplo: como usar trainControl() em R<\/strong><\/span><\/h2>\n
#create data frame<\/span>\ndf <- data.frame(y=c(6, 8, 12, 14, 14, 15, 17, 22, 24, 23),\n x1=c(2, 5, 4, 3, 4, 6, 7, 5, 8, 9),\n x2=c(14, 12, 12, 13, 7, 8, 7, 4, 6, 5))\n\n#view data frame\n<\/span>df\n\ny x1 x2\n6 2 14\n8 5 12\n12 4 12\n14 3 13\n14 4 7\n15 6 8\n17 7 7\n22 5 4\n24 8 6\n23 9 5\n<\/strong><\/pre>\n #fit multiple linear regression model to data<\/span>\nfit <- lm(y ~ x1 + x2, data=df)\n\n#view model summary\n<\/span>summary(fit)\n\nCall:\nlm(formula = y ~ x1 + x2, data = df)\n\nResiduals:\n Min 1Q Median 3Q Max \n-3.6650 -1.9228 -0.3684 1.2783 5.0208 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 21.2672 6.9927 3.041 0.0188 *\nx1 0.7803 0.6942 1.124 0.2981 \nx2 -1.1253 0.4251 -2.647 0.0331 *\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 3.093 on 7 degrees of freedom\nMultiple R-squared: 0.801, Adjusted R-squared: 0.7441 \nF-statistic: 14.09 on 2 and 7 DF, p-value: 0.003516\n<\/strong><\/pre>\n library<\/span> (caret)<\/span>\n\n#specify the cross-validation method<\/span>\nctrl <- trainControl(method = \" cv<\/span> \", number = 5<\/span> )\n\n#fit a regression model and use k-fold CV to evaluate performance\n<\/span>model <- train(y ~ x1 + x2, data = df, method = \" lm<\/span> \", trControl = ctrl)\n\n#view summary of k-fold CV \n<\/span>print<\/span> (model)\n\nLinear Regression \n\n10 samples\n 2 predictors\n\nNo pre-processing\nResampling: Cross-Validated (5 fold) \nSummary of sample sizes: 8, 8, 8, 8, 8 \nResampling results:\n\n RMSE Rsquared MAE \n 3.612302 1 3.232153\n\nTuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n\n
\n
Recursos adicionais<\/strong><\/span><\/h2>\n
Introdu\u00e7\u00e3o \u00e0 valida\u00e7\u00e3o cruzada Leave-One-Out<\/a>
O que \u00e9 overfitting no aprendizado de m\u00e1quina?<\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"