Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> +\u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Ouro:<\/span><\/p>\n Os valores de \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> s\u00e3o escolhidos atrav\u00e9s do m\u00e9todo dos m\u00ednimos quadrados<\/strong> , que minimiza a soma dos quadrados dos res\u00edduos (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Ouro:<\/span><\/p>\n No entanto, quando as vari\u00e1veis preditoras s\u00e3o altamente correlacionadas, a multicolinearidade<\/a> pode se tornar um problema. Isso pode tornar as estimativas dos coeficientes do modelo pouco confi\u00e1veis e exibir alta vari\u00e2ncia.<\/span><\/p>\n Uma maneira de contornar esse problema sem remover completamente certas vari\u00e1veis preditoras do modelo \u00e9 usar um m\u00e9todo conhecido como regress\u00e3o de crista<\/strong> , que em vez disso busca minimizar o seguinte:<\/span><\/p>\n RSS + \u03bb\u03a3\u03b2j<\/sub> 2<\/sup><\/strong><\/span><\/p>\n onde j<\/em> vai de 1 a p<\/em> e<\/span> \u03bb \u2265 0.<\/span><\/p>\n Este segundo termo da equa\u00e7\u00e3o \u00e9 conhecido como penalidade de retirada<\/em> .<\/span><\/p>\n Quando \u03bb = 0, este termo de penalidade n\u00e3o tem efeito e a regress\u00e3o de crista produz as mesmas estimativas de coeficiente que os m\u00ednimos quadrados. No entanto, \u00e0 medida que \u03bb se aproxima do infinito, a penalidade de contra\u00e7\u00e3o torna-se mais influente e as estimativas do coeficiente de regress\u00e3o de pico se aproximam de zero.<\/span><\/p>\n Em geral, as vari\u00e1veis preditoras menos influentes no modelo diminuir\u00e3o para zero mais rapidamente.<\/span><\/p>\n A vantagem da regress\u00e3o de Ridge sobre a regress\u00e3o de m\u00ednimos quadrados \u00e9 a compensa\u00e7\u00e3o entre vi\u00e9s e vari\u00e2ncia<\/a> .<\/span><\/p>\n Lembre-se de que o erro quadr\u00e1tico m\u00e9dio (MSE) \u00e9 uma m\u00e9trica que podemos usar para medir a precis\u00e3o de um determinado modelo e \u00e9 calculado da seguinte forma:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Vari\u00e2ncia + Vi\u00e9s 2<\/sup> + Erro irredut\u00edvel<\/span><\/p>\n A ideia b\u00e1sica da regress\u00e3o de Ridge \u00e9 introduzir um pequeno vi\u00e9s para que a vari\u00e2ncia possa ser significativamente reduzida, levando a um MSE geral mais baixo.<\/span><\/p>\n Para ilustrar isso, considere o seguinte gr\u00e1fico:<\/span> <\/p>\n Observe que \u00e0 medida que \u03bb aumenta, a vari\u00e2ncia diminui significativamente com um aumento muito pequeno no vi\u00e9s. Por\u00e9m, al\u00e9m de um certo ponto, a vari\u00e2ncia diminui menos rapidamente e a diminui\u00e7\u00e3o dos coeficientes leva a uma subestima\u00e7\u00e3o significativa dos mesmos, o que leva a um aumento acentuado do vi\u00e9s.<\/span><\/p>\n Podemos ver no gr\u00e1fico que o MSE do teste \u00e9 mais baixo quando escolhemos um valor para \u03bb que produz um equil\u00edbrio ideal entre vi\u00e9s e vari\u00e2ncia.<\/span><\/p>\n Quando \u03bb = 0, o termo de penalidade na regress\u00e3o de crista n\u00e3o tem efeito e, portanto, produz as mesmas estimativas de coeficiente que os m\u00ednimos quadrados. No entanto, aumentando \u03bb at\u00e9 certo ponto, podemos reduzir o MSE geral do teste.<\/span> <\/p>\n Isso significa que o ajuste do modelo por regress\u00e3o de crista produzir\u00e1 erros de teste menores do que o ajuste do modelo por regress\u00e3o de m\u00ednimos quadrados.<\/span><\/p>\n As etapas a seguir podem ser usadas para realizar a regress\u00e3o de crista:<\/span><\/p>\n Etapa 1: Calcule a matriz de correla\u00e7\u00e3o e os valores VIF para as vari\u00e1veis preditoras.<\/strong><\/span><\/p>\n Primeiro, precisamos produzir uma matriz de correla\u00e7\u00e3o<\/a> e calcular os valores VIF (fator de infla\u00e7\u00e3o de vari\u00e2ncia)<\/a> para cada vari\u00e1vel preditora.<\/span><\/p>\n Se detectarmos uma forte correla\u00e7\u00e3o entre as vari\u00e1veis preditoras e valores altos de VIF (alguns textos definem um valor VIF “alto” como 5, enquanto outros usam 10), ent\u00e3o a regress\u00e3o de crista \u00e9 provavelmente apropriada.<\/span><\/p>\n No entanto, se n\u00e3o houver multicolinearidade nos dados, pode n\u00e3o ser necess\u00e1rio realizar a regress\u00e3o de cristas em primeiro lugar. Em vez disso, podemos realizar a regress\u00e3o de m\u00ednimos quadrados ordin\u00e1ria.<\/span><\/p>\n Etapa 2: padronize cada vari\u00e1vel preditora.<\/strong><\/span><\/p>\n Antes de realizar a regress\u00e3o de crista, precisamos dimensionar os dados de forma que cada vari\u00e1vel preditora tenha uma m\u00e9dia de 0 e um desvio padr\u00e3o de 1. Isso garante que nenhuma vari\u00e1vel preditora tenha uma influ\u00eancia excessiva ao executar uma regress\u00e3o de crista.<\/span><\/p>\n Etapa 3: ajuste o modelo de regress\u00e3o de crista e escolha um valor para \u03bb.<\/strong><\/span><\/p>\n N\u00e3o existe uma f\u00f3rmula exata que possamos usar para determinar qual valor usar para \u03bb. Na pr\u00e1tica, existem duas maneiras comuns de escolher \u03bb:<\/span><\/p>\n (1) Crie um gr\u00e1fico de rastreamento Ridge.<\/strong> Este \u00e9 um gr\u00e1fico que visualiza os valores das estimativas dos coeficientes \u00e0 medida que \u03bb aumenta em dire\u00e7\u00e3o ao infinito. Normalmente, escolhemos \u03bb como o valor no qual a maioria das estimativas dos coeficientes come\u00e7a a estabilizar.<\/span> <\/p>\n (2) Calcule o teste MSE para cada valor de \u03bb.<\/strong><\/span><\/p>\n Outra forma de escolher \u03bb \u00e9 simplesmente calcular o MSE de teste de cada modelo com diferentes valores de \u03bb e escolher \u03bb como o valor que produz o menor MSE de teste.<\/span><\/p>\n A maior vantagem<\/strong> da regress\u00e3o de Ridge \u00e9 sua capacidade de produzir um erro quadr\u00e1tico m\u00e9dio (MSE) de teste mais baixo do que os m\u00ednimos quadrados quando a multicolinearidade est\u00e1 presente.<\/span><\/p>\n No entanto, a maior desvantagem<\/strong> da regress\u00e3o de Ridge \u00e9 a sua incapacidade de realizar a sele\u00e7\u00e3o de vari\u00e1veis, uma vez que inclui todas as vari\u00e1veis preditoras no modelo final. Como alguns preditores ser\u00e3o reduzidos para muito perto de zero, isso pode dificultar a interpreta\u00e7\u00e3o dos resultados do modelo.<\/span><\/p>\n Na pr\u00e1tica, a regress\u00e3o de Ridge tem o potencial de produzir um modelo capaz de fazer melhores previs\u00f5es em compara\u00e7\u00e3o com um modelo de m\u00ednimos quadrados, mas muitas vezes \u00e9 mais dif\u00edcil de interpretar os resultados do modelo.<\/span><\/p>\n Dependendo se a interpreta\u00e7\u00e3o do modelo ou a precis\u00e3o da previs\u00e3o s\u00e3o mais importantes para voc\u00ea, voc\u00ea pode optar por usar m\u00ednimos quadrados comuns ou regress\u00e3o de crista em diferentes cen\u00e1rios.<\/span><\/p>\n Os tutoriais a seguir explicam como realizar a regress\u00e3o de crista em R e Python, as duas linguagens mais comumente usadas para ajustar modelos de regress\u00e3o de crista:<\/span><\/p>\n Regress\u00e3o Ridge em R (passo a passo)<\/a> Na regress\u00e3o linear m\u00faltipla ordin\u00e1ria, usamos um conjunto de p vari\u00e1veis preditoras e uma vari\u00e1vel de resposta para ajustar um modelo da forma: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 +\u2026 + \u03b2 p Ouro: Y : A vari\u00e1vel de resposta X j : a j- \u00e9sima vari\u00e1vel […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1192","post","type-post","status-publish","format-standard","hentry","category-guia"],"yoast_head":"\n\n
\n
Por que usar a regress\u00e3o Ridge?<\/strong><\/span><\/h3>\n
![\"Troca](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Redu\u00e7\u00e3o](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete2.png\")
<\/p>\n Passos para realizar a regress\u00e3o Ridge na pr\u00e1tica<\/strong><\/span><\/h3>\n
![\"Tra\u00e7o](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete3.png\")
<\/p>\n Vantagens e desvantagens da regress\u00e3o Ridge<\/strong><\/span><\/h3>\n
Regress\u00e3o Ridge em R e Python<\/strong><\/span><\/h3>\n
Regress\u00e3o Ridge em Python (passo a passo)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"