Por\u00e9m, quando a rela\u00e7\u00e3o \u00e9 mais complexa, muitas vezes temos que recorrer a m\u00e9todos n\u00e3o lineares.<\/span><\/p>\n Um desses m\u00e9todos s\u00e3o as \u00e1rvores de classifica\u00e7\u00e3o e regress\u00e3o<\/a> (geralmente abreviadas como CART), que usam um conjunto de vari\u00e1veis preditoras para criar \u00e1rvores de decis\u00e3o<\/em> que predizem o valor de uma vari\u00e1vel de resposta.<\/span> <\/p>\n No entanto, a desvantagem dos modelos CART \u00e9 que eles tendem a sofrer de alta vari\u00e2ncia<\/a> . Ou seja, se dividirmos um conjunto de dados em duas metades e aplicarmos uma \u00e1rvore de decis\u00e3o a ambas as metades, os resultados poder\u00e3o ser muito diferentes.<\/span><\/p>\n Um m\u00e9todo que podemos usar para reduzir a vari\u00e2ncia dos modelos CART \u00e9 conhecido como bagging<\/strong> , \u00e0s vezes chamado de agrega\u00e7\u00e3o bootstrap<\/em> .<\/span><\/p>\n Quando criamos uma \u00fanica \u00e1rvore de decis\u00e3o, usamos apenas um conjunto de dados de treinamento para construir o modelo.<\/span><\/p>\n No entanto, o ensacamento<\/strong> utiliza o seguinte m\u00e9todo:<\/span><\/p>\n 1.<\/strong> Pegue b<\/em> amostras inicializadas do conjunto de dados original.<\/span><\/p>\n 2.<\/strong> Crie uma \u00e1rvore de decis\u00e3o para cada amostra de bootstrap.<\/span><\/p>\n 3.<\/strong> Calcule a m\u00e9dia das previs\u00f5es de cada \u00e1rvore para obter um modelo final.<\/span><\/p>\n O bagging pode ser usado com qualquer algoritmo de aprendizado de m\u00e1quina, mas \u00e9 particularmente \u00fatil para \u00e1rvores de decis\u00e3o porque elas inerentemente t\u00eam alta vari\u00e2ncia e o bagging \u00e9 capaz de reduzir significativamente a vari\u00e2ncia, resultando em erros de teste reduzidos.<\/span><\/p>\n Para aplicar o ensacamento \u00e0s \u00e1rvores de decis\u00e3o, cultivamos<\/em> \u00e1rvores individuais em profundidade, sem pod\u00e1-las. Isso resulta em \u00e1rvores individuais com alta vari\u00e2ncia, mas baixo vi\u00e9s. Ent\u00e3o, quando tiramos as previs\u00f5es m\u00e9dias dessas \u00e1rvores, somos capazes de reduzir a vari\u00e2ncia.<\/span><\/p>\n Na pr\u00e1tica, o desempenho ideal \u00e9 normalmente alcan\u00e7ado com 50 a 500 \u00e1rvores, mas \u00e9 poss\u00edvel ajustar milhares de \u00e1rvores para produzir um modelo final.<\/span><\/p>\n Apenas tenha em mente que instalar mais \u00e1rvores exigir\u00e1 mais poder computacional, o que pode ou n\u00e3o ser um problema dependendo do tamanho do conjunto de dados.<\/span><\/p>\n Acontece que podemos calcular o erro de teste de um modelo ensacado sem depender da valida\u00e7\u00e3o cruzada k-fold<\/a> .<\/span><\/p>\n A raz\u00e3o \u00e9 que cada amostra de bootstrap pode conter aproximadamente 2\/3 das observa\u00e7\u00f5es do conjunto de dados original. O ter\u00e7o restante das observa\u00e7\u00f5es n\u00e3o utilizadas para ajustar a \u00e1rvore ensacada s\u00e3o chamadas de observa\u00e7\u00f5es fora do saco (OOB)<\/strong> .<\/span><\/p>\n Podemos prever o valor da i-\u00e9sima observa\u00e7\u00e3o no conjunto de dados original obtendo a previs\u00e3o m\u00e9dia de cada uma das \u00e1rvores nas quais essa observa\u00e7\u00e3o era OOB.<\/span><\/p>\n Podemos usar esta abordagem para fazer uma previs\u00e3o para todas as n<\/em> observa\u00e7\u00f5es no conjunto de dados original e assim calcular uma taxa de erro, que \u00e9 uma estimativa v\u00e1lida do erro de teste.<\/span><\/p>\n A vantagem de usar esta abordagem para estimar o erro do teste \u00e9 que ela \u00e9 muito mais r\u00e1pida do que a valida\u00e7\u00e3o cruzada k-fold, especialmente quando o conjunto de dados \u00e9 grande.<\/span><\/p>\n Lembre-se que uma das vantagens das \u00e1rvores de decis\u00e3o \u00e9 que elas s\u00e3o f\u00e1ceis de interpretar e visualizar.<\/span><\/p>\n Quando, em vez disso, usamos o bagging, n\u00e3o somos mais capazes de interpretar ou visualizar uma \u00e1rvore individual, pois o modelo final empacotado \u00e9 o resultado da m\u00e9dia de muitas \u00e1rvores diferentes. Ganhamos precis\u00e3o de previs\u00e3o em detrimento da interpretabilidade.<\/span><\/p>\n No entanto, ainda podemos entender a import\u00e2ncia de cada vari\u00e1vel preditora calculando a redu\u00e7\u00e3o total no RSS (soma residual dos quadrados) devido \u00e0 distribui\u00e7\u00e3o sobre um determinado preditor, calculada a m\u00e9dia de todas as \u00e1rvores B.<\/em> Quanto maior o valor, mais importante \u00e9 o preditor.<\/span> <\/p>\n Da mesma forma, para modelos de classifica\u00e7\u00e3o, podemos calcular a redu\u00e7\u00e3o total do \u00edndice de Gini devido \u00e0 distribui\u00e7\u00e3o sobre um determinado preditor, calculada a m\u00e9dia de todas as \u00e1rvores B.<\/em> Quanto maior o valor, mais importante \u00e9 o preditor.<\/span><\/p>\n Portanto, embora n\u00e3o possamos interpretar exatamente um modelo geral final, ainda podemos ter uma ideia da import\u00e2ncia de cada vari\u00e1vel preditora ao prever a resposta.<\/span><\/p>\n A vantagem do bagging \u00e9 que ele geralmente proporciona uma melhoria na taxa de erro de teste em compara\u00e7\u00e3o com uma \u00fanica \u00e1rvore de decis\u00e3o.<\/span><\/p>\n A desvantagem \u00e9 que as previs\u00f5es da coleta de \u00e1rvores ensacadas podem ser altamente correlacionadas se houver um preditor muito forte no conjunto de dados.<\/span><\/p>\n Nesse caso, a maioria ou todas as \u00e1rvores ensacadas usar\u00e3o esse preditor para a primeira divis\u00e3o, resultando em \u00e1rvores semelhantes entre si e com previs\u00f5es altamente correlacionadas.<\/span><\/p>\n Uma maneira de contornar esse problema \u00e9 usar florestas aleat\u00f3rias, que usam um m\u00e9todo semelhante ao ensacamento, mas s\u00e3o capazes de produzir \u00e1rvores decoradas, o que muitas vezes leva a taxas de erro de teste mais baixas.<\/span><\/p>\n Voc\u00ea pode ler uma introdu\u00e7\u00e3o simples \u00e0s florestas aleat\u00f3rias aqui<\/a> .<\/span><\/p>\n Uma introdu\u00e7\u00e3o \u00e0s \u00e1rvores de classifica\u00e7\u00e3o e regress\u00e3o<\/a> Quando a rela\u00e7\u00e3o entre um conjunto de vari\u00e1veis preditoras e uma vari\u00e1vel de resposta \u00e9 linear, podemos usar m\u00e9todos como a regress\u00e3o linear m\u00faltipla para modelar a rela\u00e7\u00e3o entre as vari\u00e1veis. Por\u00e9m, quando a rela\u00e7\u00e3o \u00e9 mais complexa, muitas vezes temos que recorrer a m\u00e9todos n\u00e3o lineares. Um desses m\u00e9todos s\u00e3o as \u00e1rvores de classifica\u00e7\u00e3o […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1220","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/arbre3.png\")
O que \u00e9 ensacamento?<\/strong><\/span><\/h3>\n
\n
\n
Estimativa de erros fora da sacola<\/strong><\/span><\/h3>\n
Compreendendo a import\u00e2ncia dos preditores<\/strong><\/span><\/h3>\n
![\"Gr\u00e1fico](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/sac1.png\")
V\u00e1 al\u00e9m do ensacamento<\/strong><\/span><\/h3>\n
Recursos adicionais<\/strong><\/span><\/h3>\n
Como realizar o ensacamento em R (passo a passo)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"