<\/p>\n
Jednym z najcz\u0119stszych problem\u00f3w, jakie mo\u017cna napotka\u0107 w uczeniu maszynowym, jest wieloliniowo\u015b\u0107<\/a> . Dzieje si\u0119 tak, gdy dwie lub wi\u0119cej zmiennych predykcyjnych w zbiorze danych jest silnie skorelowanych.<\/span><\/p>\n Kiedy tak si\u0119 stanie, model mo\u017ce by\u0107 w stanie dobrze dopasowa\u0107 zbi\u00f3r danych ucz\u0105cych, ale mo\u017ce dzia\u0142a\u0107 s\u0142abo na nowym zbiorze danych, kt\u00f3rego nigdy nie widzia\u0142, poniewa\u017c nadmiernie pasuje do<\/a> zbioru danych ucz\u0105cych. zestaw treningowy.<\/span><\/p>\n Jednym ze sposob\u00f3w obej\u015bcia problemu wielowsp\u00f3\u0142liniowo\u015bci jest zastosowanie regresji g\u0142\u00f3wnych sk\u0142adowych<\/a> , kt\u00f3ra oblicza M<\/em> kombinacji liniowych (zwanych \u201esk\u0142adnikami g\u0142\u00f3wnymi\u201d) oryginalnych zmiennych predykcyjnych p<\/em> , a nast\u0119pnie wykorzystuje metod\u0119 najmniejszych kwadrat\u00f3w w celu dopasowania modelu regresji liniowej przy u\u017cyciu zasady komponenty jako predyktory.<\/span><\/p>\n Wad\u0105 regresji g\u0142\u00f3wnych sk\u0142adowych (PCR) jest to, \u017ce nie bierze ona pod uwag\u0119 zmiennej odpowiedzi<\/a> przy obliczaniu g\u0142\u00f3wnych sk\u0142adowych.<\/span><\/p>\n Zamiast tego uwzgl\u0119dnia jedynie wielko\u015b\u0107 wariancji pomi\u0119dzy zmiennymi predykcyjnymi wychwyconymi przez g\u0142\u00f3wne sk\u0142adowe. Z tego powodu mo\u017cliwe jest, \u017ce w niekt\u00f3rych przypadkach g\u0142\u00f3wne sk\u0142adniki o najwi\u0119kszych odchyleniach mog\u0105 nie by\u0107 w stanie dobrze przewidzie\u0107 zmiennej odpowiedzi.<\/span><\/p>\n Technika zwi\u0105zana z PCR znana jest jako metoda cz\u0105stkowych najmniejszych kwadrat\u00f3w<\/strong> . Podobnie do PCR, metoda cz\u0119\u015bciowych najmniejszych kwadrat\u00f3w oblicza M<\/em> kombinacji liniowych (zwanych \u201esk\u0142adnikami PLS\u201d) oryginalnych zmiennych predykcyjnych p<\/em> i wykorzystuje metod\u0119 najmniejszych kwadrat\u00f3w w celu dopasowania modelu regresji liniowej wykorzystuj\u0105cej komponenty PLS jako predyktory.<\/span><\/p>\n Jednak w przeciwie\u0144stwie do PCR, metoda cz\u0119\u015bciowych najmniejszych kwadrat\u00f3w pr\u00f3buje znale\u017a\u0107 kombinacje liniowe, kt\u00f3re wyja\u015bniaj\u0105 zmienno\u015b\u0107 zar\u00f3wno<\/em> zmiennej odpowiedzi, jak i zmiennych predykcyjnych.<\/span><\/p>\n W praktyce do wykonania cz\u0119\u015bciowych najmniejszych kwadrat\u00f3w stosuje si\u0119 nast\u0119puj\u0105ce kroki.<\/span><\/p>\n 1.<\/strong><\/span> Standaryzuj dane w taki spos\u00f3b, aby wszystkie zmienne predykcyjne i zmienna odpowiedzi mia\u0142y \u015bredni\u0105 0 i odchylenie standardowe 1. Dzi\u0119ki temu ka\u017cda zmienna jest mierzona na tej samej skali.<\/span><\/p>\n 2.<\/strong> Oblicz Z 1<\/sub> , \u2026 , Z M<\/sub> jako M<\/em> kombinacji liniowych pierwotnych predyktor\u00f3w p<\/em> .<\/span><\/p>\n 3.<\/strong> Zastosuj metod\u0119 najmniejszych kwadrat\u00f3w, aby dopasowa\u0107 model regresji liniowej, wykorzystuj\u0105c komponenty PLS Z 1<\/sub> , \u2026 , Z M<\/sub> jako predyktory.<\/span><\/p>\n 4.<\/strong> Na koniec<\/span> u\u017cyj k-krotnej walidacji krzy\u017cowej<\/a> , aby znale\u017a\u0107 optymaln\u0105 liczb\u0119 komponent\u00f3w PLS do utrzymania w modelu. \u201eOptymalna\u201d liczba komponent\u00f3w PLS, kt\u00f3r\u0105 nale\u017cy zachowa\u0107, to zazwyczaj liczba, kt\u00f3ra generuje najni\u017cszy testowy b\u0142\u0105d \u015bredniokwadratowy (MSE).<\/span><\/p>\n W przypadkach, gdy w zbiorze danych wyst\u0119puje wieloliniowo\u015b\u0107, regresja cz\u0105stkowa metod\u0105 najmniejszych kwadrat\u00f3w zwykle dzia\u0142a lepiej ni\u017c zwyk\u0142a regresja metod\u0105 najmniejszych kwadrat\u00f3w. Dobrym pomys\u0142em jest jednak dopasowanie kilku r\u00f3\u017cnych modeli, aby mo\u017cna by\u0142o okre\u015bli\u0107, kt\u00f3ry z nich najlepiej uog\u00f3lnia niewidoczne dane.<\/span><\/p>\n W praktyce dopasowujemy wiele r\u00f3\u017cnych typ\u00f3w modeli (PLS, PCR<\/a> , Ridge<\/a> , Lasso<\/a> , wielokrotna regresja liniowa<\/a> itp.) do zbioru danych i stosujemy k-krotn\u0105 walidacj\u0119 krzy\u017cow\u0105, aby zidentyfikowa\u0107 model, kt\u00f3ry najlepiej generuje test MSE. ni\u017csze w przypadku nowych danych. .<\/span><\/p>\n","protected":false},"excerpt":{"rendered":" Jednym z najcz\u0119stszych problem\u00f3w, jakie mo\u017cna napotka\u0107 w uczeniu maszynowym, jest wieloliniowo\u015b\u0107 . Dzieje si\u0119 tak, gdy dwie lub wi\u0119cej zmiennych predykcyjnych w zbiorze danych jest silnie skorelowanych. Kiedy tak si\u0119 stanie, model mo\u017ce by\u0107 w stanie dobrze dopasowa\u0107 zbi\u00f3r danych ucz\u0105cych, ale mo\u017ce dzia\u0142a\u0107 s\u0142abo na nowym zbiorze danych, kt\u00f3rego nigdy nie widzia\u0142, poniewa\u017c […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-1207","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n Kroki wykonywania cz\u0119\u015bciowych najmniejszych kwadrat\u00f3w<\/strong><\/span><\/h3>\n
\n
Wniosek<\/strong><\/span><\/h3>\n