<\/p>\n
Para avaliar o desempenho de um modelo em um conjunto de dados, precisamos medir at\u00e9 que ponto as previs\u00f5es feitas pelo modelo correspondem aos dados observados.<\/span><\/p>\n Um m\u00e9todo comumente usado para fazer isso \u00e9 conhecido como valida\u00e7\u00e3o cruzada k-fold<\/a> , que usa a seguinte abordagem:<\/span><\/p>\n 1.<\/strong> Divida aleatoriamente um conjunto de dados em k<\/em> grupos, ou \u201cdobras\u201d, de tamanho aproximadamente igual.<\/span><\/p>\n 2.<\/strong> Escolha uma das dobras como conjunto de conten\u00e7\u00e3o. Ajuste o modelo \u00e0s dobras k-1 restantes. Calcule o teste MSE nas observa\u00e7\u00f5es da camada que foi tensionada.<\/span><\/p>\n 3.<\/strong> Repita esse processo k<\/em> vezes, cada vez usando um conjunto diferente como conjunto de exclus\u00e3o.<\/span><\/p>\n 4.<\/strong> Calcule o MSE geral do teste como a m\u00e9dia dos k<\/em> MSEs do teste.<\/span><\/p>\n Este tutorial fornece um exemplo passo a passo de como realizar a valida\u00e7\u00e3o cruzada k-fold para um determinado modelo em Python.<\/span><\/p>\n Primeiro, carregaremos as fun\u00e7\u00f5es e bibliotecas necess\u00e1rias para este exemplo:<\/span><\/p>\n A seguir, criaremos um DataFrame do pandas que cont\u00e9m duas vari\u00e1veis preditoras, x1<\/sub> e x2<\/sub> , e uma \u00fanica vari\u00e1vel de resposta y.<\/span><\/p>\n A seguir, ajustaremos um modelo de regress\u00e3o linear m\u00faltipla<\/a> ao conjunto de dados e realizaremos LOOCV para avaliar o desempenho do modelo.<\/span><\/p>\n Pelo resultado, podemos perceber que o erro absoluto m\u00e9dio (MAE) foi de 3,614<\/strong> . Ou seja, o erro absoluto m\u00e9dio entre a previs\u00e3o do modelo e os dados efetivamente observados \u00e9 3,614.<\/span><\/p>\n Em geral, quanto menor o MAE, melhor o modelo \u00e9 capaz de prever as observa\u00e7\u00f5es reais.<\/span><\/p>\n Outra m\u00e9trica comumente usada para avaliar o desempenho do modelo \u00e9 a raiz do erro quadr\u00e1tico m\u00e9dio (RMSE). O c\u00f3digo a seguir mostra como calcular essa m\u00e9trica usando LOOCV:<\/span><\/p>\n A partir do resultado, podemos ver que a raiz do erro quadr\u00e1tico m\u00e9dio (RMSE) foi 4,284<\/strong> .<\/span><\/p>\n Quanto menor o RMSE, melhor o modelo \u00e9 capaz de prever as observa\u00e7\u00f5es reais.<\/span><\/p>\n Na pr\u00e1tica, normalmente ajustamos v\u00e1rios modelos diferentes e comparamos o RMSE ou MAE de cada modelo para decidir qual modelo produz as taxas de erro de teste mais baixas e \u00e9, portanto, o melhor modelo a ser usado.<\/span><\/p>\n Observe tamb\u00e9m que neste exemplo optamos por usar k=5 dobras, mas voc\u00ea pode escolher qualquer n\u00famero de dobras que desejar.<\/span><\/p>\n Na pr\u00e1tica, normalmente escolhemos entre 5 e 10 camadas, pois este \u00e9 o n\u00famero ideal de camadas que produz taxas de erro de teste confi\u00e1veis.<\/span><\/p>\n Voc\u00ea pode encontrar a documenta\u00e7\u00e3o completa da fun\u00e7\u00e3o KFold() do sklearn aqui<\/a> .<\/em><\/span><\/p>\n Uma introdu\u00e7\u00e3o \u00e0 valida\u00e7\u00e3o cruzada K-Fold<\/a> Para avaliar o desempenho de um modelo em um conjunto de dados, precisamos medir at\u00e9 que ponto as previs\u00f5es feitas pelo modelo correspondem aos dados observados. Um m\u00e9todo comumente usado para fazer isso \u00e9 conhecido como valida\u00e7\u00e3o cruzada k-fold , que usa a seguinte abordagem: 1. Divida aleatoriamente um conjunto de dados em k grupos, […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1177","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\n Etapa 1: carregue as bibliotecas necess\u00e1rias<\/strong><\/span><\/h3>\n
from<\/span> sklearn. model_selection<\/span> import<\/span> train_test_split\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> KFold\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> cross_val_score\nfrom<\/span> sklearn. linear_model<\/span> import<\/span> LinearRegression\nfrom<\/span> numpy import<\/span> means\nfrom<\/span> numpy import<\/span> absolute\nfrom<\/span> numpy import<\/span> sqrt\nimport<\/span> pandas as<\/span> pd\n<\/strong><\/span><\/pre>\n Etapa 2: crie os dados<\/strong><\/span><\/h3>\n
df = pd.DataFrame({' y<\/span> ': [6, 8, 12, 14, 14, 15, 17, 22, 24, 23],\n ' x1<\/span> ': [2, 5, 4, 3, 4, 6, 7, 5, 8, 9],\n ' x2<\/span> ': [14, 12, 12, 13, 7, 8, 7, 4, 6, 5]})\n<\/strong><\/span><\/pre>\n Etapa 3: realizar valida\u00e7\u00e3o cruzada K-Fold<\/strong><\/span><\/h3>\n
#define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv<\/span> =<\/span> KFold<\/span> (<\/span> n_splits<\/span> =<\/span> 10<\/span> ,<\/span> random_state<\/span> =<\/span> 1<\/span> ,<\/span> shuffle<\/span> =<\/span> True<\/span> )<\/span>\n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use k-fold CV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_absolute_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view mean absolute error\n<\/span>mean(absolute(scores))\n\n3.6141267491803646\n<\/strong><\/span><\/pre>\n #define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv<\/span> =<\/span> KFold<\/span> (<\/span> n_splits<\/span> =<\/span> 5<\/span> ,<\/span> random_state<\/span> =<\/span> 1<\/span> ,<\/span> shuffle<\/span> =<\/span> True<\/span> )<\/span> \n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use LOOCV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_squared_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view RMSE\n<\/span>sqrt(mean(absolute(scores)))\n\n4.284373111711816<\/strong><\/span><\/pre>\n Recursos adicionais<\/strong><\/span><\/h3>\n
Um guia completo para regress\u00e3o linear em Python<\/a>
Valida\u00e7\u00e3o cruzada Leave-One-Out em Python<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"