Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> +\u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Ouro:<\/span><\/p>\n Os valores de \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> s\u00e3o escolhidos atrav\u00e9s do m\u00e9todo dos m\u00ednimos quadrados<\/strong> , que minimiza a soma dos quadrados dos res\u00edduos (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Ouro:<\/span><\/p>\n No entanto, quando as vari\u00e1veis preditoras s\u00e3o altamente correlacionadas, a multicolinearidade<\/a> pode se tornar um problema. Isso pode tornar as estimativas dos coeficientes do modelo pouco confi\u00e1veis e exibir alta vari\u00e2ncia. Ou seja, quando o modelo \u00e9 aplicado a um novo conjunto de dados que nunca viu antes, \u00e9 prov\u00e1vel que tenha um desempenho insatisfat\u00f3rio.<\/span><\/p>\n Uma maneira de contornar esse problema \u00e9 usar um m\u00e9todo conhecido como regress\u00e3o la\u00e7o<\/strong> , que busca minimizar o seguinte:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n onde j<\/em> vai de 1 a p<\/em> e \u03bb \u2265 0.<\/span><\/p>\n Este segundo termo da equa\u00e7\u00e3o \u00e9 conhecido como penalidade de retirada<\/em> .<\/span><\/p>\n Quando \u03bb = 0, este termo de penalidade n\u00e3o tem efeito e a regress\u00e3o la\u00e7o produz as mesmas estimativas de coeficiente que os m\u00ednimos quadrados.<\/span><\/p>\n No entanto, \u00e0 medida que \u03bb se aproxima do infinito, a penalidade de remo\u00e7\u00e3o torna-se mais influente e as vari\u00e1veis preditivas que n\u00e3o s\u00e3o import\u00e1veis para o modelo s\u00e3o reduzidas a zero e algumas s\u00e3o at\u00e9 removidas do modelo.<\/span><\/p>\n A vantagem da regress\u00e3o la\u00e7o sobre a regress\u00e3o de m\u00ednimos quadrados \u00e9 a compensa\u00e7\u00e3o entre vi\u00e9s e vari\u00e2ncia<\/a> .<\/span><\/p>\n Lembre-se de que o erro quadr\u00e1tico m\u00e9dio (MSE) \u00e9 uma m\u00e9trica que podemos usar para medir a precis\u00e3o de um determinado modelo e \u00e9 calculado da seguinte forma:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Vari\u00e2ncia + Vi\u00e9s 2<\/sup> + Erro irredut\u00edvel<\/span><\/p>\n A ideia b\u00e1sica da regress\u00e3o la\u00e7o \u00e9 introduzir um pequeno vi\u00e9s para que a vari\u00e2ncia possa ser significativamente reduzida, levando a um MSE geral mais baixo.<\/span><\/p>\n Para ilustrar isso, considere o seguinte gr\u00e1fico:<\/span> <\/p>\n Observe que \u00e0 medida que \u03bb aumenta, a vari\u00e2ncia diminui significativamente com um aumento muito pequeno no vi\u00e9s. Por\u00e9m, al\u00e9m de um certo ponto, a vari\u00e2ncia diminui menos rapidamente e a diminui\u00e7\u00e3o dos coeficientes leva a uma subestima\u00e7\u00e3o significativa dos mesmos, o que leva a um aumento acentuado do vi\u00e9s.<\/span><\/p>\n Podemos ver no gr\u00e1fico que o MSE do teste \u00e9 mais baixo quando escolhemos um valor para \u03bb que produz um equil\u00edbrio ideal entre vi\u00e9s e vari\u00e2ncia.<\/span><\/p>\n Quando \u03bb = 0, o termo de penalidade na regress\u00e3o la\u00e7o n\u00e3o tem efeito e, portanto, produz as mesmas estimativas de coeficiente que os m\u00ednimos quadrados. No entanto, aumentando \u03bb at\u00e9 certo ponto, podemos reduzir o MSE geral do teste.<\/span> <\/p>\n Isso significa que o ajuste do modelo por regress\u00e3o la\u00e7o produzir\u00e1 erros de teste menores do que o ajuste do modelo por regress\u00e3o de m\u00ednimos quadrados.<\/span><\/p>\n A regress\u00e3o Lasso e a regress\u00e3o Ridge<\/a> s\u00e3o conhecidas como m\u00e9todos de regulariza\u00e7\u00e3o<\/em> porque ambas tentam minimizar a soma residual dos quadrados (RSS), bem como um determinado termo de penalidade.<\/span><\/p>\n Em outras palavras, restringem ou regularizam<\/em> as estimativas dos coeficientes do modelo.<\/span><\/p>\n No entanto, os termos de penalidade que eles usam s\u00e3o um pouco diferentes:<\/span><\/p>\n Quando usamos a regress\u00e3o de crista, os coeficientes de cada preditor s\u00e3o reduzidos a zero, mas nenhum deles pode chegar completamente a zero<\/em> .<\/span><\/p>\n Por outro lado, quando usamos a regress\u00e3o la\u00e7o, \u00e9 poss\u00edvel que alguns coeficientes se tornem completamente zero<\/em> quando \u03bb se tornar grande o suficiente.<\/span><\/p>\n Em termos t\u00e9cnicos, a regress\u00e3o la\u00e7o \u00e9 capaz de produzir modelos \u201cesparsos\u201d, ou seja, modelos que incluem apenas um subconjunto de vari\u00e1veis preditoras.<\/span><\/p>\n Isso levanta a quest\u00e3o: a regress\u00e3o de crista ou a regress\u00e3o de la\u00e7o s\u00e3o melhores?<\/strong><\/span><\/p>\n A resposta: depende!<\/span><\/p>\n Nos casos em que apenas um pequeno n\u00famero de vari\u00e1veis preditoras s\u00e3o significativas, a regress\u00e3o la\u00e7o tende a funcionar melhor porque \u00e9 capaz de reduzir completamente as vari\u00e1veis insignificantes a zero e remov\u00ea-las do modelo.<\/span><\/p>\n No entanto, quando muitas vari\u00e1veis preditoras s\u00e3o significativas no modelo e seus coeficientes s\u00e3o aproximadamente iguais, a regress\u00e3o de crista tende a funcionar melhor porque mant\u00e9m todos os preditores no modelo.<\/span><\/p>\n Para determinar qual modelo \u00e9 mais eficaz em fazer previs\u00f5es, realizamos valida\u00e7\u00e3o cruzada k-fold<\/a> . Qualquer modelo que produza o menor erro quadr\u00e1tico m\u00e9dio (MSE) \u00e9 o melhor modelo a ser usado.<\/span><\/p>\n As etapas a seguir podem ser usadas para realizar uma regress\u00e3o la\u00e7o:<\/span><\/p>\n Etapa 1: Calcule a matriz de correla\u00e7\u00e3o e os valores VIF para as vari\u00e1veis preditoras.<\/strong><\/span><\/p>\n Primeiro, precisamos produzir uma matriz de correla\u00e7\u00e3o<\/a> e calcular os valores VIF (fator de infla\u00e7\u00e3o de vari\u00e2ncia)<\/a> para cada vari\u00e1vel preditora.<\/span><\/p>\n Se detectarmos uma forte correla\u00e7\u00e3o entre as vari\u00e1veis preditoras e valores altos de VIF (alguns textos definem um valor VIF “alto” como 5, enquanto outros usam 10), ent\u00e3o a regress\u00e3o la\u00e7o \u00e9 provavelmente apropriada.<\/span><\/p>\n No entanto, se n\u00e3o houver multicolinearidade nos dados, pode n\u00e3o haver necessidade de realizar a regress\u00e3o la\u00e7o em primeiro lugar. Em vez disso, podemos realizar a regress\u00e3o de m\u00ednimos quadrados ordin\u00e1ria.<\/span><\/p>\n Etapa 2: ajuste o modelo de regress\u00e3o la\u00e7o e escolha um valor para \u03bb.<\/strong><\/span><\/p>\n Depois de determinarmos que a regress\u00e3o la\u00e7o \u00e9 apropriada, podemos ajustar o modelo (usando linguagens de programa\u00e7\u00e3o populares como R ou Python) usando o valor ideal para \u03bb.<\/span><\/p>\n Para determinar o valor ideal para \u03bb, podemos ajustar v\u00e1rios modelos usando valores diferentes para \u03bb e escolher \u03bb como o valor que produz o teste MSE mais baixo.<\/span><\/p>\n Etapa 3: compare a regress\u00e3o la\u00e7o com a regress\u00e3o de crista e a regress\u00e3o de m\u00ednimos quadrados ordin\u00e1rios.<\/strong><\/span><\/p>\n Finalmente, podemos comparar nosso modelo de regress\u00e3o la\u00e7o com um modelo de regress\u00e3o de crista e um modelo de regress\u00e3o de m\u00ednimos quadrados para determinar qual modelo produz o teste MSE mais baixo usando valida\u00e7\u00e3o cruzada k-fold.<\/span><\/p>\n Dependendo da rela\u00e7\u00e3o entre as vari\u00e1veis preditoras e a vari\u00e1vel resposta, \u00e9 perfeitamente poss\u00edvel que um destes tr\u00eas modelos supere os outros em diferentes cen\u00e1rios.<\/span><\/p>\n Os tutoriais a seguir explicam como realizar a regress\u00e3o la\u00e7o em R e Python:<\/span><\/p>\n Regress\u00e3o Lasso em R (passo a passo)<\/a> Na regress\u00e3o linear m\u00faltipla ordin\u00e1ria, usamos um conjunto de p vari\u00e1veis preditoras e uma vari\u00e1vel de resposta para ajustar um modelo da forma: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 +\u2026 + \u03b2 p Ouro: Y : A vari\u00e1vel de resposta X j : a j- \u00e9sima vari\u00e1vel […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1195","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\n\n
\n
Por que usar a regress\u00e3o Lasso?<\/strong><\/span><\/h3>\n
![\"Troca](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Troca](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Regress\u00e3o Lasso vs Regress\u00e3o Ridge<\/strong><\/span><\/h3>\n
\n
Etapas para realizar uma regress\u00e3o la\u00e7o na pr\u00e1tica<\/strong><\/span><\/h3>\n
Regress\u00e3o Lasso em R e Python<\/strong><\/span><\/h3>\n
Regress\u00e3o Lasso em Python (passo a passo)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"