Resumindo, a regress\u00e3o de m\u00ednimos quadrados tenta encontrar estimativas de coeficientes que minimizem a soma residual dos quadrados (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> )2<\/strong><\/span><\/p>\n Ouro:<\/span><\/p>\n Por outro lado, a regress\u00e3o la\u00e7o procura minimizar o seguinte:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n onde j<\/em> vai de 1 a p<\/em> vari\u00e1veis preditoras e \u03bb \u2265 0.<\/span><\/p>\n Este segundo termo da equa\u00e7\u00e3o \u00e9 conhecido como penalidade de retirada<\/em> . Na regress\u00e3o la\u00e7o, selecionamos um valor para \u03bb que produz o teste MSE (erro quadr\u00e1tico m\u00e9dio) mais baixo poss\u00edvel.<\/span><\/p>\n Este tutorial fornece um exemplo passo a passo de como realizar uma regress\u00e3o la\u00e7o em R.<\/span><\/p>\n Para este exemplo, usaremos o conjunto de dados integrado do R chamado mtcars<\/strong> . Usaremos hp<\/strong> como vari\u00e1vel de resposta e as seguintes vari\u00e1veis como preditores:<\/span><\/p>\n Para realizar a regress\u00e3o la\u00e7o, usaremos fun\u00e7\u00f5es do pacote glmnet<\/strong> . Este pacote requer que a vari\u00e1vel de resposta<\/a> seja um vetor e que o conjunto de vari\u00e1veis preditoras seja da classe data.matrix<\/strong> .<\/span><\/p>\n O c\u00f3digo a seguir mostra como definir nossos dados:<\/span><\/p>\n A seguir, usaremos a fun\u00e7\u00e3o glmnet()<\/strong> para ajustar o modelo de regress\u00e3o la\u00e7o e especificar alpha=1<\/strong> .<\/span><\/p>\n Observe que definir alfa igual a 0 \u00e9 equivalente a usar regress\u00e3o de crista<\/a> e definir alfa para um valor entre 0 e 1 \u00e9 equivalente a usar uma rede el\u00e1stica.<\/span> <\/strong><\/span><\/p>\n Para determinar qual valor usar para lambda, realizaremos a valida\u00e7\u00e3o cruzada k-fold<\/a> e identificaremos o valor lambda que produz o menor erro quadr\u00e1tico m\u00e9dio de teste (MSE).<\/span><\/p>\n Observe que a fun\u00e7\u00e3o cv.glmnet()<\/strong> executa automaticamente a valida\u00e7\u00e3o cruzada k-fold usando k = 10 vezes.<\/span> <\/p>\n O valor lambda que minimiza o teste MSE \u00e9 5.616345<\/strong> .<\/span><\/p>\n Finalmente, podemos analisar o modelo final produzido pelo valor lambda \u00f3timo.<\/span><\/p>\n Podemos usar o seguinte c\u00f3digo para obter as estimativas dos coeficientes para este modelo:<\/span><\/p>\n Nenhum coeficiente \u00e9 mostrado para o preditor drat<\/strong> porque a regress\u00e3o la\u00e7o reduziu o coeficiente a zero. Isso significa que ele foi completamente afastado do modelo porque n\u00e3o tinha influ\u00eancia suficiente.<\/span><\/p>\n Observe que esta \u00e9 uma diferen\u00e7a fundamental entre a regress\u00e3o de crista<\/a> e a regress\u00e3o de la\u00e7o<\/a> . A regress\u00e3o Ridge reduz todos os coeficientes a<\/em> zero, mas a regress\u00e3o la\u00e7o tem o potencial de remover preditores do modelo, reduzindo os coeficientes completamente<\/em> a zero.<\/span><\/p>\n Tamb\u00e9m podemos usar o modelo final de regress\u00e3o la\u00e7o para fazer previs\u00f5es sobre novas observa\u00e7\u00f5es. Por exemplo, suponha que temos um carro novo com os seguintes atributos:<\/span><\/p>\n O c\u00f3digo a seguir mostra como usar o modelo de regress\u00e3o la\u00e7o ajustado para prever o valor hp<\/em> desta nova observa\u00e7\u00e3o:<\/span><\/p>\n Com base nos valores inseridos, o modelo prev\u00ea que este carro ter\u00e1 um valor de cv<\/em> de 109,0842<\/strong> .<\/span><\/p>\n\n
Etapa 1: carregar dados<\/strong><\/span><\/h3>\n
\n
#define response variable<\/span>\ny <- mtcars$hp\n\n#define matrix of predictor variables\n<\/span>x <- data.matrix(mtcars[, c('mpg', 'wt', 'drat', 'qsec')])\n<\/strong><\/span><\/pre>\n Etapa 2: ajustar o modelo de regress\u00e3o Lasso<\/strong><\/span><\/h3>\n
library<\/span> (glmnet)<\/span>\n\n#perform k-fold cross-validation to find optimal lambda value\n<\/span>cv_model <- cv. glmnet<\/span> (x, y, alpha = 1<\/span> )\n\n#find optimal lambda value that minimizes test MSE\n<\/span>best_lambda <- cv_model$ lambda<\/span> . min<\/span>\nbest_lambda\n\n[1] 5.616345\n\n#produce plot of test MSE by lambda value<\/span>\nplot(cv_model) \n<\/strong><\/span><\/pre>\n![\"Testando](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lassor1.png\")
<\/p>\n Etapa 3: Analise o modelo final<\/strong><\/span><\/h3>\n
#find coefficients of best model\n<\/span>best_model <- glmnet(x, y, alpha = 1<\/span> , lambda = best_lambda)\ncoef(best_model)\n\n5 x 1 sparse Matrix of class \"dgCMatrix\"\n s0\n(Intercept) 484.20742\nmpg -2.95796\nwt 21.37988\ndrat. \nqsec -19.43425<\/strong><\/span><\/pre>\n\n
#define new observation\n<\/span>new = matrix(c(24, 2.5, 3.5, 18.5), nrow= 1<\/span> , ncol= 4<\/span> ) \n\n#use lasso regression model to predict response value\n<\/span>predict(best_model, s = best_lambda, newx = new)\n\n[1,] 109.0842<\/strong><\/span><\/pre>\n