Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Warto\u015bci \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> dobieramy metod\u0105 najmniejszych kwadrat\u00f3w, kt\u00f3ra minimalizuje sum\u0119 kwadrat\u00f3w reszt (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Z\u0142oto:<\/span><\/p>\n Problemem, kt\u00f3ry cz\u0119sto pojawia si\u0119 w praktyce w przypadku wielokrotnej regresji liniowej, jest wieloliniowo\u015b\u0107<\/a> \u2013 gdy dwie lub wi\u0119cej zmiennych predykcyjnych jest ze sob\u0105 silnie skorelowanych, tak \u017ce nie dostarczaj\u0105 unikalnych lub niezale\u017cnych informacji w modelu regresji.<\/span><\/p>\n Mo\u017ce to sprawi\u0107, \u017ce szacunki wsp\u00f3\u0142czynnik\u00f3w modelu b\u0119d\u0105 niewiarygodne i b\u0119d\u0105 wykazywa\u0107 du\u017c\u0105 wariancj\u0119. Oznacza to, \u017ce gdy model zostanie zastosowany do nowego zbioru danych, kt\u00f3rego nigdy wcze\u015bniej nie widzia\u0142, prawdopodobnie b\u0119dzie dzia\u0142a\u0142 s\u0142abo.<\/span><\/p>\n Dwie metody, kt\u00f3rych mo\u017cemy u\u017cy\u0107, aby obej\u015b\u0107 ten problem wsp\u00f3\u0142liniowo\u015bci, to regresja grzbietowa<\/strong> i regresja lassa<\/strong> .<\/span><\/p>\n Regresja grzbietowa<\/strong> ma na celu zminimalizowanie nast\u0119puj\u0105cych element\u00f3w:<\/span><\/p>\n Regresja Lasso<\/strong> ma na celu zminimalizowanie nast\u0119puj\u0105cych element\u00f3w:<\/span><\/p>\n W obu r\u00f3wnaniach drugi cz\u0142on nazywany jest kar\u0105 za wycofanie<\/em> .<\/span><\/p>\n Gdy \u03bb = 0, ten sk\u0142adnik kary nie ma \u017cadnego efektu, a regresja grzbietowa i regresja lasso daj\u0105 takie same szacunki wsp\u00f3\u0142czynnik\u00f3w, jak metoda najmniejszych kwadrat\u00f3w.<\/span><\/p>\n Jednak\u017ce, gdy \u03bb zbli\u017ca si\u0119 do niesko\u0144czono\u015bci, kara za skurcz staje si\u0119 bardziej wp\u0142ywowa, a zmienne predykcyjne, kt\u00f3rych nie mo\u017cna zaimportowa\u0107 do modelu, zmniejszaj\u0105 si\u0119 do zera.<\/span><\/p>\n Dzi\u0119ki regresji Lasso niekt\u00f3re wsp\u00f3\u0142czynniki mog\u0105 osi\u0105gn\u0105\u0107 ca\u0142kowite zero<\/em> , gdy \u03bb stanie si\u0119 wystarczaj\u0105co du\u017ce.<\/span><\/p>\n Przewag\u0105<\/strong> regresji Ridge’a i Lasso nad regresj\u0105 metod\u0105 najmniejszych kwadrat\u00f3w jest kompromis w zakresie odchylenia i wariancji<\/a> .<\/span><\/p>\n Przypomnijmy, \u017ce b\u0142\u0105d \u015bredniokwadratowy (MSE) to metryka, za pomoc\u0105 kt\u00f3rej mo\u017cemy zmierzy\u0107 dok\u0142adno\u015b\u0107 danego modelu i oblicza si\u0119 go w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Odchylenie( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = wariancja + b\u0142\u0105d 2<\/sup> + b\u0142\u0105d nieredukowalny<\/span><\/p>\n Podstawow\u0105 ide\u0105 regresji grzbietowej i regresji lasso jest wprowadzenie ma\u0142ego b\u0142\u0119du systematycznego, dzi\u0119ki czemu wariancja mo\u017ce zosta\u0107 znacznie zmniejszona, co prowadzi do ni\u017cszego og\u00f3lnego MSE.<\/span><\/p>\n Aby to zilustrowa\u0107, rozwa\u017c nast\u0119puj\u0105cy wykres:<\/span> <\/p>\n Nale\u017cy zauwa\u017cy\u0107, \u017ce wraz ze wzrostem \u03bb wariancja znacznie maleje przy bardzo ma\u0142ym wzro\u015bcie obci\u0105\u017cenia. Jednak powy\u017cej pewnego punktu wariancja maleje wolniej, a spadek wsp\u00f3\u0142czynnik\u00f3w prowadzi do ich znacznego niedoszacowania, co prowadzi do gwa\u0142townego wzrostu obci\u0105\u017cenia systematycznego.<\/span><\/p>\n Z wykresu widzimy, \u017ce MSE testu jest najni\u017csze, gdy wybierzemy warto\u015b\u0107 \u03bb, kt\u00f3ra zapewnia optymalny kompromis mi\u0119dzy obci\u0105\u017ceniem a wariancj\u0105.<\/span><\/p>\n Gdy \u03bb = 0, sk\u0142adnik karny w regresji lasso nie ma \u017cadnego efektu i dlatego daje takie same oszacowania wsp\u00f3\u0142czynnik\u00f3w, jak metoda najmniejszych kwadrat\u00f3w.<\/span> Jednak\u017ce, zwi\u0119kszaj\u0105c \u03bb do pewnego punktu, mo\u017cemy zmniejszy\u0107 ca\u0142kowite MSE testu.<\/span> <\/p>\n Oznacza to, \u017ce dopasowanie modelu za pomoc\u0105 regresji grzbietowej i lassa mo\u017ce potencjalnie powodowa\u0107 mniejsze b\u0142\u0119dy testowe ni\u017c dopasowanie modelu za pomoc\u0105 regresji najmniejszych kwadrat\u00f3w.<\/span><\/p>\n Wad\u0105<\/strong> regresji Ridge’a i Lasso jest to, \u017ce interpretacja wsp\u00f3\u0142czynnik\u00f3w w ostatecznym modelu staje si\u0119 trudna, gdy zmniejszaj\u0105 si\u0119 one do zera.<\/span><\/p>\n Zatem regresj\u0119 Ridge’a i Lasso nale\u017cy stosowa\u0107, je\u015bli chcesz zoptymalizowa\u0107 zdolno\u015b\u0107 przewidywania, a nie wnioskowanie.<\/span><\/p>\n Regresja Lasso i regresja grzbietowa s\u0105 znane jako metody regularyzacji<\/em> , poniewa\u017c obie maj\u0105 na celu zminimalizowanie resztowej sumy kwadrat\u00f3w (RSS), a tak\u017ce okre\u015blonego warunku kary.<\/span><\/p>\n Innymi s\u0142owy, ograniczaj\u0105 lub reguluj\u0105<\/em> oszacowania wsp\u00f3\u0142czynnik\u00f3w modelu.<\/span><\/p>\n To naturalnie rodzi pytanie: czy lepsza jest regresja grzbietu czy lassa?<\/strong><\/span><\/p>\n W przypadkach, gdy istotna jest tylko niewielka liczba zmiennych predykcyjnych, regresja lasso<\/strong> zwykle dzia\u0142a lepiej, poniewa\u017c jest w stanie ca\u0142kowicie zredukowa\u0107 nieistotne zmienne do zera i usun\u0105\u0107 je z modelu.<\/span><\/p>\n Jednak\u017ce, gdy w modelu znacz\u0105cych jest wiele zmiennych predykcyjnych, a ich wsp\u00f3\u0142czynniki s\u0105 w przybli\u017ceniu r\u00f3wne, regresja grzbietowa<\/strong> zwykle dzia\u0142a lepiej, poniewa\u017c utrzymuje wszystkie predyktory w modelu.<\/span><\/p>\n Aby okre\u015bli\u0107, kt\u00f3ry model jest najlepszy do prognozowania, zazwyczaj przeprowadzamy k-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105<\/a> i wybieramy model, kt\u00f3ry daje najni\u017cszy \u015bredni b\u0142\u0105d kwadratowy testu.<\/span><\/p>\n Poni\u017csze samouczki stanowi\u0105 wprowadzenie do regresji grzbietowej i regresji lasso:<\/span><\/p>\n Poni\u017csze samouczki wyja\u015bniaj\u0105, jak przeprowadzi\u0107 oba typy regresji w R i Pythonie:<\/span><\/p>\n W zwyk\u0142ej wielokrotnej regresji liniowej u\u017cywamy zestawu p zmiennych predykcyjnych i zmiennej odpowiedzi, aby dopasowa\u0107 model w postaci: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Warto\u015bci \u03b2 0 , \u03b2 1 , B 2 , \u2026, \u03b2 p dobieramy metod\u0105 najmniejszych kwadrat\u00f3w, kt\u00f3ra […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-2116","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n\n
Problem wielowsp\u00f3\u0142liniowo\u015bci w regresji<\/span><\/strong><\/h3>\n
Unikanie wsp\u00f3\u0142liniowo\u015bci: regresja Ridge’a i Lasso<\/strong><\/span><\/h3>\n
\n
\n
Zalety i wady regresji Ridge’a i Lasso<\/strong><\/span><\/h3>\n
![\"Kompromis](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Kompromis](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Ridge kontra Regresja Lasso: kiedy u\u017cywa\u0107 ka\u017cdego z nich<\/strong><\/span><\/h3>\n
Dodatkowe zasoby<\/strong><\/span><\/h3>\n
\n
\n