<\/p>\n
Para avaliar o desempenho de um modelo em um conjunto de dados, precisamos medir at\u00e9 que ponto as previs\u00f5es feitas pelo modelo correspondem aos dados observados.<\/span><\/p>\n Um m\u00e9todo comumente usado para fazer isso \u00e9 conhecido como Leave-One-Out Cross-Validation (LOOCV)<\/a> , que usa a seguinte abordagem:<\/span><\/p>\n 1.<\/strong> Divida um conjunto de dados em um conjunto de treinamento e um conjunto de teste, usando todas as observa\u00e7\u00f5es, exceto uma, como parte do conjunto de treinamento.<\/span><\/p>\n 2.<\/strong> Crie um modelo usando apenas dados do conjunto de treinamento.<\/span><\/p>\n 3.<\/strong> Use o modelo para prever o valor de resposta da observa\u00e7\u00e3o exclu\u00edda do modelo e calcular o erro quadr\u00e1tico m\u00e9dio (MSE).<\/span><\/p>\n 4.<\/strong> Repita este processo n<\/em> vezes. Calcule o MSE de teste como a m\u00e9dia de todos os MSEs de teste.<\/span><\/p>\n Este tutorial fornece um exemplo passo a passo de como executar LOOCV para um determinado modelo em Python.<\/span><\/p>\n Primeiro, carregaremos as fun\u00e7\u00f5es e bibliotecas necess\u00e1rias para este exemplo:<\/span><\/p>\n A seguir, criaremos um DataFrame do pandas que cont\u00e9m duas vari\u00e1veis preditoras, x1<\/sub> e x2<\/sub> , e uma \u00fanica vari\u00e1vel de resposta y.<\/span><\/p>\n A seguir, ajustaremos um modelo de regress\u00e3o linear m\u00faltipla<\/a> ao conjunto de dados e realizaremos LOOCV para avaliar o desempenho do modelo.<\/span><\/p>\n Pelo resultado, podemos perceber que o erro absoluto m\u00e9dio (MAE) foi de 3,146<\/strong> . Ou seja, o erro absoluto m\u00e9dio entre a previs\u00e3o do modelo e os dados efetivamente observados \u00e9 3,146.<\/span><\/p>\n Em geral, quanto menor o MAE, melhor o modelo \u00e9 capaz de prever as observa\u00e7\u00f5es reais.<\/span><\/p>\n Outra m\u00e9trica comumente usada para avaliar o desempenho do modelo \u00e9 a raiz do erro quadr\u00e1tico m\u00e9dio (RMSE). O c\u00f3digo a seguir mostra como calcular essa m\u00e9trica usando LOOCV:<\/span><\/p>\n A partir do resultado, podemos ver que a raiz do erro quadr\u00e1tico m\u00e9dio (RMSE) foi de 3,619<\/strong> . Quanto menor o RMSE, melhor o modelo \u00e9 capaz de prever as observa\u00e7\u00f5es reais.<\/span><\/p>\n Na pr\u00e1tica, normalmente ajustamos v\u00e1rios modelos diferentes e comparamos o RMSE ou MAE de cada modelo para decidir qual modelo produz as taxas de erro de teste mais baixas e \u00e9, portanto, o melhor modelo a ser usado.<\/span><\/p>\n Uma r\u00e1pida introdu\u00e7\u00e3o \u00e0 valida\u00e7\u00e3o cruzada Leave-One-Out (LOOCV)<\/a> Para avaliar o desempenho de um modelo em um conjunto de dados, precisamos medir at\u00e9 que ponto as previs\u00f5es feitas pelo modelo correspondem aos dados observados. Um m\u00e9todo comumente usado para fazer isso \u00e9 conhecido como Leave-One-Out Cross-Validation (LOOCV) , que usa a seguinte abordagem: 1. Divida um conjunto de dados em um conjunto de […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1174","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\n Etapa 1: carregue as bibliotecas necess\u00e1rias<\/strong><\/span><\/h3>\n
from<\/span> sklearn. model_selection<\/span> import<\/span> train_test_split\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> LeaveOneOut\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> cross_val_score\nfrom<\/span> sklearn. linear_model<\/span> import<\/span> LinearRegression\nfrom<\/span> numpy import<\/span> means\nfrom<\/span> numpy import<\/span> absolute\nfrom<\/span> numpy import<\/span> sqrt\nimport<\/span> pandas as<\/span> pd\n<\/strong><\/span><\/pre>\n Etapa 2: crie os dados<\/strong><\/span><\/h3>\n
df = pd.DataFrame({' y<\/span> ': [6, 8, 12, 14, 14, 15, 17, 22, 24, 23],\n ' x1<\/span> ': [2, 5, 4, 3, 4, 6, 7, 5, 8, 9],\n ' x2<\/span> ': [14, 12, 12, 13, 7, 8, 7, 4, 6, 5]})\n<\/strong><\/span><\/pre>\n Etapa 3: realizar a valida\u00e7\u00e3o cruzada Leave-One-Out<\/strong><\/span><\/h3>\n
#define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv = LeaveOneOut()\n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use LOOCV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_absolute_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view mean absolute error\n<\/span>mean(absolute(scores))\n\n3.1461548083469726\n<\/strong><\/span><\/pre>\n #define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv = LeaveOneOut()\n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use LOOCV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_squared_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view RMSE\n<\/span>sqrt(mean(absolute(scores)))\n\n3.619456476385567<\/strong><\/span><\/pre>\n Recursos adicionais<\/strong><\/span><\/h3>\n
Um guia completo para regress\u00e3o linear em Python<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"