rendimento e na idade de um novo requerente, a probabilidade de incumprimento do empr\u00e9stimo.<\/span><\/p>\n Para determinar se o modelo tem forte capacidade preditiva, precisamos us\u00e1-lo para fazer previs\u00f5es sobre<\/span> dados nunca vistos antes. Isso nos permitir\u00e1 estimar o erro de previs\u00e3o<\/strong> do modelo.<\/span><\/p>\n Usando valida\u00e7\u00e3o cruzada para estimar erros de previs\u00e3o<\/span><\/strong><\/h2>\n A valida\u00e7\u00e3o cruzada<\/strong> refere-se a diferentes maneiras pelas quais podemos estimar o erro de previs\u00e3o.<\/span> A abordagem geral para<\/span> valida\u00e7\u00e3o cruzada \u00e9:<\/span><\/p>\n 1.<\/strong> Separe um certo n\u00famero de observa\u00e7\u00f5es no conjunto de dados \u2013 normalmente 15-25% de todas as observa\u00e7\u00f5es.<\/span>
2.<\/strong> Ajustar (ou \u201ctreinar\u201d) o modelo nas observa\u00e7\u00f5es que mantemos no conjunto de dados.<\/span>
3.<\/strong> Teste o qu\u00e3o bem o modelo pode fazer previs\u00f5es sobre observa\u00e7\u00f5es que n\u00e3o usamos para treinar o modelo.<\/span><\/p>\n Medindo a qualidade de um modelo<\/strong><\/span><\/h2>\n Quando usamos o modelo ajustado para fazer previs\u00f5es sobre novas observa\u00e7\u00f5es, podemos usar diversas m\u00e9tricas diferentes para medir a qualidade do modelo, incluindo:<\/span><\/p>\n M\u00faltiplo R-quadrado:<\/strong> Mede a for\u00e7a da rela\u00e7\u00e3o linear entre as vari\u00e1veis preditoras e a<\/span> vari\u00e1vel de resposta. Um m\u00faltiplo R ao quadrado de 1 indica uma rela\u00e7\u00e3o linear perfeita, enquanto um<\/span> m\u00faltiplo R ao quadrado de 0 indica nenhuma rela\u00e7\u00e3o linear. Quanto maior o m\u00faltiplo R-quadrado, maior a probabilidade de as vari\u00e1veis preditoras preverem a vari\u00e1vel resposta.<\/span><\/p>\n Erro quadr\u00e1tico m\u00e9dio (RMSE):<\/strong> mede o erro m\u00e9dio de previs\u00e3o cometido pelo modelo ao prever o valor<\/span> de uma nova observa\u00e7\u00e3o. Esta \u00e9 a dist\u00e2ncia m\u00e9dia entre o valor verdadeiro de uma observa\u00e7\u00e3o e o valor previsto pelo modelo.<\/span> Valores mais baixos<\/span> para RMSE indicam melhor ajuste do modelo.<\/span><\/p>\n Erro M\u00e9dio Absoluto (MAE):<\/strong> Esta \u00e9 a diferen\u00e7a m\u00e9dia absoluta entre o valor verdadeiro de uma observa\u00e7\u00e3o e o valor previsto pelo modelo.<\/span> Esta m\u00e9trica \u00e9 geralmente menos sens\u00edvel a valores discrepantes do que o RMSE. Valores mais baixos para MAE indicam melhor ajuste do modelo.<\/span><\/p>\n Implementando quatro t\u00e9cnicas diferentes de valida\u00e7\u00e3o cruzada em R<\/strong><\/span><\/h2>\n Explicaremos ent\u00e3o como implementar as seguintes t\u00e9cnicas de valida\u00e7\u00e3o cruzada em R:<\/span><\/p>\n 1.<\/strong> Abordagem do conjunto de valida\u00e7\u00e3o<\/span>
2.<\/strong> Valida\u00e7\u00e3o cruzada k-fold<\/span>
3.<\/strong> Deixe a valida\u00e7\u00e3o cruzada de lado<\/span>
4.<\/strong> Valida\u00e7\u00e3o cruzada repetida de k-fold<\/span><\/p>\n Para ilustrar como usar essas diferentes t\u00e9cnicas, usaremos um subconjunto do conjunto de dados R integrado mtcars<\/em> :<\/span><\/p>\n #define dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#view first six rows of new data\n<\/span>head(data)\n\n# mpg disp hp drat\n#Mazda RX4 21.0 160 110 3.90\n#Mazda RX4 Wag 21.0 160 110 3.90\n#Datsun 710 22.8 108 93 3.85\n#Hornet 4 Drive 21.4 258 110 3.08\n#Hornet Sportabout 18.7 360 175 3.15\n#Valiant 18.1 225 105 2.76\n<\/strong><\/pre>\n Construiremos um modelo de regress\u00e3o linear m\u00faltipla usando disp<\/em> , hp<\/em> e drat<\/em> como vari\u00e1veis preditoras e mpg<\/em><\/span> como vari\u00e1vel de resposta.<\/span><\/p>\n Abordagem do conjunto de valida\u00e7\u00e3o<\/span><\/strong><\/h2>\n A abordagem do conjunto de valida\u00e7\u00e3o<\/strong> funciona da seguinte maneira:<\/span><\/p>\n 1.<\/strong> Divida os dados em dois conjuntos: um conjunto \u00e9 usado para treinar o modelo (ou seja, estimar os par\u00e2metros do modelo)<\/span> e o outro conjunto \u00e9 usado para testar o modelo. Geralmente, o conjunto de treinamento \u00e9 gerado selecionando aleatoriamente<\/span> 70-80% dos dados, e os 20-30% restantes dos dados s\u00e3o usados como conjunto de teste.<\/span><\/p>\n 2.<\/strong> Crie o modelo usando o conjunto de dados de treinamento.<\/span>
3.<\/strong> Use o modelo para fazer previs\u00f5es sobre os dados do conjunto de testes.<\/span>
4.<\/strong> Me\u00e7a a qualidade do modelo usando m\u00e9tricas como R-quadrado, RMSE e MAE.<\/span><\/p>\n Exemplo:<\/span><\/strong><\/h3>\n O exemplo a seguir usa o conjunto de dados que definimos acima. Primeiro, dividimos os dados em<\/span>
um conjunto de treinamento e um conjunto de teste, usando 80% dos dados como conjunto de treinamento e os 20% restantes dos dados<\/span> como conjunto de teste. A seguir, constru\u00edmos o modelo usando o<\/span> conjunto de treinamento. Em seguida, usamos o modelo para fazer previs\u00f5es sobre o conjunto de testes. Por fim, medimos a qualidade do<\/span> modelo usando R-quadrado, RMSE e MAE.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#split the dataset into a training set (80%) and test set (20%).\n<\/span>training_obs <- data$mpg %>% createDataPartition(p = 0.8, list = FALSE)\n\ntrain <- data[training_obs, ]\ntest <- data[-training_obs, ]\n\n# Build the linear regression model on the training set\n<\/span>model <- lm(mpg ~ ., data = train)\n\n# Use the model to make predictions on the test set\n<\/span>predictions <- model %>% predict(test)\n\n#Examine R-squared, RMSE, and MAE of predictions\n<\/span>data.frame(R_squared = R2(predictions, test$mpg),\n RMSE = RMSE(predictions, test$mpg),\n MAE = MAE(predictions, test$mpg))\n\n#R_squared RMSE MAE\n#1 0.9213066 1.876038 1.66614\n<\/strong><\/pre>\n Ao comparar diferentes modelos, aquele que produz o menor RMSE no conjunto de teste \u00e9 o modelo preferido.<\/span><\/p>\n Vantagens e desvantagens desta abordagem<\/strong><\/span><\/h3>\n A vantagem da abordagem do conjunto de valida\u00e7\u00e3o \u00e9 que ela \u00e9 simples e computacionalmente eficiente. A desvantagem<\/span> \u00e9 que o modelo \u00e9 constru\u00eddo usando apenas parte do total de dados. Se os dados que deixamos<\/span> de fora do conjunto de treinamento contiverem informa\u00e7\u00f5es interessantes ou valiosas, o modelo n\u00e3o as levar\u00e1 em considera\u00e7\u00e3o.<\/span><\/p>\n abordagem de valida\u00e7\u00e3o cruzada k-fold<\/strong><\/span><\/h2>\n A abordagem de valida\u00e7\u00e3o cruzada k-fold<\/strong> funciona da seguinte forma:<\/span><\/p>\n 1.<\/strong> Divida aleatoriamente os dados em k \u201cdobras\u201d ou subconjuntos (por exemplo, 5 ou 10 subconjuntos).<\/span>
2.<\/strong> Treine o modelo em todos os dados, deixando de fora apenas um subconjunto.<\/span>
3.<\/strong> Use o modelo para fazer previs\u00f5es sobre os dados do subconjunto que foi deixado de fora.<\/span>
4.<\/strong> Repita esse processo at\u00e9 que cada um dos k subconjuntos tenha sido usado como conjunto de teste.<\/span>
5<\/strong> . Me\u00e7a a qualidade do modelo calculando a m\u00e9dia dos k erros de teste. Isto \u00e9 conhecido<\/span>
como um erro de valida\u00e7\u00e3o cruzada.<\/span><\/p>\n Exemplo<\/span><\/strong><\/h3>\n Neste exemplo, primeiro dividimos os dados em<\/span> 5 subconjuntos. Em seguida, ajustamos o modelo usando todos os dados, exceto um subconjunto. Em seguida, usamos o modelo para fazer<\/span> previs\u00f5es sobre o subconjunto que foi deixado de fora e registrar o erro do teste (usando R-quadrado, RMSE e MAE). Repetimos<\/span> esse processo at\u00e9 que cada subconjunto tenha sido usado como conjunto de teste. Ent\u00e3o simplesmente calculamos a m\u00e9dia dos 5<\/span> erros de teste.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets (or \"folds\") to use\n<\/span>train_control <- trainControl(method = \"cv\", number = 5)\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#Summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold) \n#Summary of sample sizes: 26, 25, 26, 25, 26 \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.095501 0.7661981 2.467427\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vantagens e desvantagens desta abordagem<\/span><\/strong><\/h3>\n A vantagem da abordagem de valida\u00e7\u00e3o cruzada k-fold sobre a abordagem do conjunto de valida\u00e7\u00e3o \u00e9 que ela constr\u00f3i o modelo v\u00e1rias vezes diferentes<\/span> usando diferentes partes de dados a cada vez, portanto, n\u00e3o temos a chance de omitir dados importantes ao construir<\/span> o modelo.<\/span><\/p>\n A parte subjetiva desta abordagem \u00e9 escolher o valor a ser usado para k, ou seja, o n\u00famero de subconjuntos nos quais dividir<\/span> os dados. Em geral, valores de k mais baixos levam a um vi\u00e9s mais alto, mas a uma variabilidade menor, enquanto valores de k mais altos<\/span> levam a um vi\u00e9s mais baixo, mas a uma variabilidade mais alta.<\/span><\/p>\n Na pr\u00e1tica, k \u00e9 geralmente escolhido como igual a 5 ou 10, porque esse n\u00famero de<\/span> subconjuntos tende a evitar simultaneamente muito vi\u00e9s e muita variabilidade.<\/span><\/p>\n Abordagem de valida\u00e7\u00e3o cruzada Leave One Out (LOOCV)<\/strong><\/span><\/h2>\n A abordagem LOOCV<\/strong> funciona da seguinte forma:<\/span><\/p>\n 1.<\/strong> Construa o modelo usando todas as observa\u00e7\u00f5es do conjunto de dados, exceto uma.<\/span>
2.<\/strong> Use o modelo para prever o valor da observa\u00e7\u00e3o faltante. Registre o erro ao testar esta previs\u00e3o.<\/span>
3.<\/strong> Repita este processo para cada observa\u00e7\u00e3o no conjunto de dados.<\/span>
4.<\/strong> Me\u00e7a a qualidade do modelo calculando a m\u00e9dia de todos os erros de previs\u00e3o.<\/span><\/p>\n Exemplo<\/span><\/strong><\/h3>\n O exemplo a seguir demonstra como executar LOOCV para o mesmo conjunto de dados usado nos exemplos anteriores:<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#specify that we want to use LOOCV\n<\/span>train_control <- trainControl( method = \"LOOCV\"<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Leave-One-Out Cross-Validation \n#Summary of sample sizes: 31, 31, 31, 31, 31, 31, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.168763 0.7170704 2.503544\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vantagens e desvantagens desta abordagem<\/strong><\/span><\/h3>\n A vantagem do LOOCV \u00e9 que usamos todos os pontos de dados, o que geralmente reduz poss\u00edveis vieses. Por\u00e9m, como<\/span> utilizamos o modelo para prever o valor de cada observa\u00e7\u00e3o, isso poderia levar a uma maior variabilidade no<\/span> erro de previs\u00e3o.<\/span><\/p>\n Outra desvantagem desta abordagem \u00e9 que ela deve se ajustar a um n\u00famero t\u00e3o grande de modelos que pode se tornar ineficiente e computacionalmente pesada.<\/span><\/p>\n Abordagem repetida de valida\u00e7\u00e3o cruzada k-fold<\/span><\/strong><\/h2>\n Podemos realizar valida\u00e7\u00e3o cruzada repetida de k dobras<\/strong> simplesmente realizando a valida\u00e7\u00e3o cruzada de k dobras v\u00e1rias vezes. O erro final \u00e9 o erro m\u00e9dio do<\/span> n\u00famero de repeti\u00e7\u00f5es.<\/span><\/p>\n O exemplo a seguir realiza uma valida\u00e7\u00e3o cruzada de 5 vezes, repetida 4 vezes:<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets to use and number of times to repeat k-fold CV\n<\/span>train_control <- trainControl(method = \"repeatedcv\", number = 5, repeats = 4<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold, repeated 4 times) \n#Summary of sample sizes: 26, 25, 26, 25, 26, 25, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.176339 0.7909337 2.559131\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vantagens e desvantagens desta abordagem<\/strong><\/span><\/h3>\n A vantagem da abordagem de valida\u00e7\u00e3o cruzada repetida k-fold \u00e9 que para cada repeti\u00e7\u00e3o os dados ser\u00e3o divididos em subconjuntos ligeiramente diferentes, o que deve fornecer uma estimativa ainda mais imparcial do erro de previs\u00e3o do modelo. A desvantagem desta abordagem \u00e9 que ela pode ser computacionalmente intensiva, uma vez que temos que repetir o processo de ajuste do modelo v\u00e1rias vezes.<\/span><\/p>\n