Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Z\u0142oto:<\/span><\/p>\n Warto\u015bci \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> dobieramy metod\u0105 najmniejszych kwadrat\u00f3w<\/strong> , kt\u00f3ra minimalizuje sum\u0119 kwadrat\u00f3w reszt (RSS):<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Z\u0142oto:<\/span><\/p>\n Jednak\u017ce, gdy zmienne predykcyjne s\u0105 silnie skorelowane, wsp\u00f3\u0142liniowo\u015b\u0107<\/a> mo\u017ce sta\u0107 si\u0119 problemem. Mo\u017ce to sprawi\u0107, \u017ce szacunki wsp\u00f3\u0142czynnik\u00f3w modelu b\u0119d\u0105 niewiarygodne i b\u0119d\u0105 wykazywa\u0107 du\u017c\u0105 wariancj\u0119. Oznacza to, \u017ce gdy model zostanie zastosowany do nowego zbioru danych, kt\u00f3rego nigdy wcze\u015bniej nie widzia\u0142, prawdopodobnie b\u0119dzie dzia\u0142a\u0142 s\u0142abo.<\/span><\/p>\n Jednym ze sposob\u00f3w obej\u015bcia tego problemu jest u\u017cycie metody znanej jako regresja lasso<\/strong> , kt\u00f3ra zamiast tego ma na celu zminimalizowanie nast\u0119puj\u0105cych element\u00f3w:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n gdzie j<\/em> przechodzi od 1 do p<\/em> i \u03bb \u2265 0.<\/span><\/p>\n Ten drugi cz\u0142on r\u00f3wnania nazywany jest kar\u0105 za wycofanie<\/em> .<\/span><\/p>\n Gdy \u03bb = 0, ten sk\u0142adnik kary nie ma \u017cadnego efektu, a regresja lasso daje takie same szacunki wsp\u00f3\u0142czynnik\u00f3w, jak metoda najmniejszych kwadrat\u00f3w.<\/span><\/p>\n Jednak\u017ce, gdy \u03bb zbli\u017ca si\u0119 do niesko\u0144czono\u015bci, kara za usuni\u0119cie staje si\u0119 bardziej wp\u0142ywowa, a zmienne predykcyjne, kt\u00f3rych nie mo\u017cna zaimportowa\u0107 do modelu, s\u0105 redukowane do zera, a niekt\u00f3re nawet usuwane z modelu.<\/span><\/p>\n Przewag\u0105 regresji lasso nad regresj\u0105 metod\u0105 najmniejszych kwadrat\u00f3w jest kompromis w zakresie odchylenia i wariancji<\/a> .<\/span><\/p>\n Przypomnijmy, \u017ce b\u0142\u0105d \u015bredniokwadratowy (MSE) to metryka, za pomoc\u0105 kt\u00f3rej mo\u017cemy zmierzy\u0107 dok\u0142adno\u015b\u0107 danego modelu i oblicza si\u0119 go w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Odchylenie( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = wariancja + b\u0142\u0105d 2<\/sup> + b\u0142\u0105d nieredukowalny<\/span><\/p>\n Podstawow\u0105 ide\u0105 regresji lasso jest wprowadzenie ma\u0142ego b\u0142\u0119du systematycznego, dzi\u0119ki czemu wariancja mo\u017ce zosta\u0107 znacznie zmniejszona, co prowadzi do ni\u017cszego og\u00f3lnego MSE.<\/span><\/p>\n Aby to zilustrowa\u0107, rozwa\u017c nast\u0119puj\u0105cy wykres:<\/span> <\/p>\n Nale\u017cy zauwa\u017cy\u0107, \u017ce wraz ze wzrostem \u03bb wariancja znacznie maleje przy bardzo ma\u0142ym wzro\u015bcie obci\u0105\u017cenia. Jednak powy\u017cej pewnego punktu wariancja maleje wolniej, a spadek wsp\u00f3\u0142czynnik\u00f3w prowadzi do ich znacznego niedoszacowania, co prowadzi do gwa\u0142townego wzrostu obci\u0105\u017cenia systematycznego.<\/span><\/p>\n Z wykresu widzimy, \u017ce MSE testu jest najni\u017csze, gdy wybierzemy warto\u015b\u0107 \u03bb, kt\u00f3ra zapewnia optymalny kompromis mi\u0119dzy obci\u0105\u017ceniem a wariancj\u0105.<\/span><\/p>\n Gdy \u03bb = 0, sk\u0142adnik karny w regresji lasso nie ma \u017cadnego efektu i dlatego daje takie same oszacowania wsp\u00f3\u0142czynnik\u00f3w, jak metoda najmniejszych kwadrat\u00f3w. Jednak\u017ce, zwi\u0119kszaj\u0105c \u03bb do pewnego punktu, mo\u017cemy zmniejszy\u0107 ca\u0142kowite MSE testu.<\/span> <\/p>\n Oznacza to, \u017ce dopasowanie modelu metod\u0105 regresji lasso b\u0119dzie skutkowa\u0142o mniejszymi b\u0142\u0119dami testowymi ni\u017c dopasowanie modelu metod\u0105 najmniejszych kwadrat\u00f3w.<\/span><\/p>\n Zar\u00f3wno regresja Lasso, jak i regresja Ridge’a<\/a> s\u0105 znane jako metody regularyzacji<\/em> , poniewa\u017c obie maj\u0105 na celu zminimalizowanie resztowej sumy kwadrat\u00f3w (RSS), a tak\u017ce okre\u015blonego warunku kary.<\/span><\/p>\n Innymi s\u0142owy, ograniczaj\u0105 lub reguluj\u0105<\/em> oszacowania wsp\u00f3\u0142czynnik\u00f3w modelu.<\/span><\/p>\n Jednak stosowane przez nich warunki kar s\u0105 nieco inne:<\/span><\/p>\n Kiedy u\u017cywamy regresji grzbietowej, wsp\u00f3\u0142czynniki ka\u017cdego predyktora s\u0105 redukowane do zera, ale \u017caden z nich nie mo\u017ce ca\u0142kowicie spa\u015b\u0107 do zera<\/em> .<\/span><\/p>\n I odwrotnie, gdy zastosujemy regresj\u0119 lasso, mo\u017cliwe jest, \u017ce niekt\u00f3re wsp\u00f3\u0142czynniki stan\u0105 si\u0119 ca\u0142kowicie zerowe<\/em> , gdy \u03bb stanie si\u0119 wystarczaj\u0105co du\u017ce.<\/span><\/p>\n Z technicznego punktu widzenia regresja lasso umo\u017cliwia tworzenie modeli \u201erzadkich\u201d, to znaczy modeli zawieraj\u0105cych tylko podzbi\u00f3r zmiennych predykcyjnych.<\/span><\/p>\n Nasuwa si\u0119 pytanie: czy lepsza jest regresja grzbietu czy regresja lasso?<\/strong><\/span><\/p>\n Odpowied\u017a: to zale\u017cy!<\/span><\/p>\n W przypadkach, gdy istotna jest tylko niewielka liczba zmiennych predykcyjnych, regresja lasso zwykle dzia\u0142a lepiej, poniewa\u017c jest w stanie ca\u0142kowicie zredukowa\u0107 nieistotne zmienne do zera i usun\u0105\u0107 je z modelu.<\/span><\/p>\n Jednak\u017ce, gdy w modelu znacz\u0105cych jest wiele zmiennych predykcyjnych, a ich wsp\u00f3\u0142czynniki s\u0105 w przybli\u017ceniu r\u00f3wne, regresja grzbietowa zwykle dzia\u0142a lepiej, poniewa\u017c utrzymuje wszystkie predyktory w modelu.<\/span><\/p>\n Aby okre\u015bli\u0107, kt\u00f3ry model jest najskuteczniejszy w przewidywaniu, przeprowadzamy k-krotn\u0105 weryfikacj\u0119 krzy\u017cow\u0105<\/a> . Najlepszym modelem jest model, kt\u00f3ry generuje najni\u017cszy b\u0142\u0105d \u015bredniokwadratowy (MSE).<\/span><\/p>\n Aby przeprowadzi\u0107 regresj\u0119 lasso, mo\u017cna wykona\u0107 nast\u0119puj\u0105ce kroki:<\/span><\/p>\n Krok 1: Oblicz macierz korelacji i warto\u015bci VIF dla zmiennych predykcyjnych.<\/strong><\/span><\/p>\n Najpierw musimy stworzy\u0107 macierz korelacji<\/a> i obliczy\u0107 warto\u015bci VIF (wsp\u00f3\u0142czynnik inflacji wariancji)<\/a> dla ka\u017cdej zmiennej predykcyjnej.<\/span><\/p>\n Je\u015bli wykryjemy siln\u0105 korelacj\u0119 mi\u0119dzy zmiennymi predykcyjnymi a wysokimi warto\u015bciami VIF (niekt\u00f3re teksty definiuj\u0105 \u201ewysok\u0105\u201d warto\u015b\u0107 VIF na 5, podczas gdy inne u\u017cywaj\u0105 10), w\u00f3wczas prawdopodobnie w\u0142a\u015bciwa b\u0119dzie regresja lasso.<\/span><\/p>\n Je\u015bli jednak w danych nie wyst\u0119puje wsp\u00f3\u0142liniowo\u015b\u0107, wykonywanie regresji lasso mo\u017ce nie by\u0107 konieczne. Zamiast tego mo\u017cemy wykona\u0107 zwyk\u0142\u0105 regresj\u0119 metod\u0105 najmniejszych kwadrat\u00f3w.<\/span><\/p>\n Krok 2: Dopasuj model regresji lasso i wybierz warto\u015b\u0107 \u03bb.<\/strong><\/span><\/p>\n Kiedy ju\u017c ustalimy, \u017ce regresja lasso jest w\u0142a\u015bciwa, mo\u017cemy dopasowa\u0107 model (u\u017cywaj\u0105c popularnych j\u0119zyk\u00f3w programowania, takich jak R czy Python), stosuj\u0105c optymaln\u0105 warto\u015b\u0107 \u03bb.<\/span><\/p>\n Aby okre\u015bli\u0107 optymaln\u0105 warto\u015b\u0107 \u03bb, mo\u017cemy dopasowa\u0107 wiele modeli, stosuj\u0105c r\u00f3\u017cne warto\u015bci \u03bb i wybra\u0107 \u03bb jako warto\u015b\u0107, kt\u00f3ra daje najni\u017cszy test MSE.<\/span><\/p>\n Krok 3: Por\u00f3wnaj regresj\u0119 lassa z regresj\u0105 grzbietow\u0105 i zwyk\u0142\u0105 regresj\u0105 metod\u0105 najmniejszych kwadrat\u00f3w.<\/strong><\/span><\/p>\n Na koniec mo\u017cemy por\u00f3wna\u0107 nasz model regresji lasso z modelem regresji grzbietowej i modelem regresji metod\u0105 najmniejszych kwadrat\u00f3w, aby okre\u015bli\u0107, kt\u00f3ry model daje najni\u017cszy test MSE przy u\u017cyciu k-krotnej walidacji krzy\u017cowej.<\/span><\/p>\n W zale\u017cno\u015bci od relacji mi\u0119dzy zmiennymi predykcyjnymi a zmienn\u0105 odpowiedzi jest ca\u0142kowicie mo\u017cliwe, \u017ce jeden z tych trzech modeli b\u0119dzie lepszy od pozosta\u0142ych w r\u00f3\u017cnych scenariuszach.<\/span><\/p>\n Poni\u017csze samouczki wyja\u015bniaj\u0105, jak przeprowadzi\u0107 regresj\u0119 lasso w R i Pythonie:<\/span><\/p>\n Regresja Lasso w R (krok po kroku)<\/a> W zwyk\u0142ej wielokrotnej regresji liniowej u\u017cywamy zestawu p zmiennych predykcyjnych i zmiennej odpowiedzi , aby dopasowa\u0107 model w postaci: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Z\u0142oto: Y : Zmienna odpowiedzi X j : j- ta zmienna predykcyjna \u03b2 j : \u015aredni wp\u0142yw […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-1194","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n\n
\n
Dlaczego warto stosowa\u0107 regresj\u0119 Lasso?<\/strong><\/span><\/h3>\n
![\"Kompromis](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Kompromis](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Regresja Lasso a regresja Ridge’a<\/strong><\/span><\/h3>\n
\n
Etapy wykonywania regresji lasso w praktyce<\/strong><\/span><\/h3>\n
Regresja Lasso w R i Pythonie<\/strong><\/span><\/h3>\n
Regresja Lasso w Pythonie (krok po kroku)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"