Gdy jednak zale\u017cno\u015b\u0107 jest bardziej z\u0142o\u017cona, cz\u0119sto musimy ucieka\u0107 si\u0119 do metod nieliniowych.<\/span><\/p>\n Jedn\u0105 z takich metod s\u0105 drzewa klasyfikacji i regresji<\/a> (cz\u0119sto w skr\u00f3cie CART), kt\u00f3re wykorzystuj\u0105 zestaw zmiennych predykcyjnych do tworzenia drzew decyzyjnych<\/em> , kt\u00f3re przewiduj\u0105 warto\u015b\u0107 zmiennej odpowiedzi.<\/span> <\/p>\n Jednak wad\u0105 modeli CART jest to, \u017ce charakteryzuj\u0105 si\u0119 one du\u017c\u0105 wariancj\u0105<\/a> . Oznacza to, \u017ce je\u015bli podzielimy zbi\u00f3r danych na dwie po\u0142owy i zastosujemy drzewo decyzyjne do obu po\u0142\u00f3wek, wyniki mog\u0105 by\u0107 bardzo r\u00f3\u017cne.<\/span><\/p>\n Jedn\u0105 z metod, kt\u00f3r\u0105 mo\u017cemy zastosowa\u0107 w celu zmniejszenia wariancji modeli CART, jest gromadzenie danych<\/strong> , czasami nazywane agregacj\u0105 bootstrap<\/em> .<\/span><\/p>\n Kiedy tworzymy pojedyncze drzewo decyzyjne, do budowy modelu u\u017cywamy tylko jednego zestawu danych ucz\u0105cych.<\/span><\/p>\n Jednak\u017ce pakowanie<\/strong> wykorzystuje nast\u0119puj\u0105c\u0105 metod\u0119:<\/span><\/p>\n 1.<\/strong> Pobierz pr\u00f3bki bootstrapowe<\/em> z oryginalnego zbioru danych.<\/span><\/p>\n 2.<\/strong> Utw\u00f3rz drzewo decyzyjne dla ka\u017cdej pr\u00f3bki bootstrap.<\/span><\/p>\n 3.<\/strong> U\u015brednij przewidywania z ka\u017cdego drzewa, aby otrzyma\u0107 ostateczny model.<\/span><\/p>\n \u0141\u0105czenie w pakiety mo\u017ce by\u0107 u\u017cywane z dowolnym algorytmem uczenia maszynowego, ale jest szczeg\u00f3lnie przydatne w przypadku drzew decyzyjnych, poniewa\u017c z natury charakteryzuj\u0105 si\u0119 one du\u017c\u0105 wariancj\u0105, a pakowanie jest w stanie znacznie zmniejszy\u0107 wariancj\u0119, co skutkuje redukcj\u0105 b\u0142\u0119d\u00f3w testowych.<\/span><\/p>\n Aby zastosowa\u0107 workowanie w przypadku drzew decyzyjnych, hodujemy<\/em> pojedyncze drzewa na g\u0142\u0119boko\u015bci, bez ich przycinania. Powoduje to, \u017ce pojedyncze drzewa charakteryzuj\u0105 si\u0119 du\u017c\u0105 wariancj\u0105, ale niskim obci\u0105\u017ceniem. Nast\u0119pnie, bior\u0105c \u015brednie przewidywania z tych drzew, jeste\u015bmy w stanie zmniejszy\u0107 wariancj\u0119.<\/span><\/p>\n W praktyce optymaln\u0105 wydajno\u015b\u0107 osi\u0105ga si\u0119 zwykle w przypadku 50\u2013500 drzew, ale mo\u017cliwe jest dopasowanie tysi\u0119cy drzew w celu uzyskania ostatecznego modelu.<\/span><\/p>\n Nale\u017cy tylko pami\u0119ta\u0107, \u017ce dopasowanie wi\u0119kszej liczby drzew b\u0119dzie wymaga\u0142o wi\u0119kszej mocy obliczeniowej, co mo\u017ce, ale nie musi, stanowi\u0107 problem w zale\u017cno\u015bci od rozmiaru zbioru danych.<\/span><\/p>\n Okazuje si\u0119, \u017ce mo\u017cemy obliczy\u0107 b\u0142\u0105d testowy modelu workowanego bez polegania na k-krotnej walidacji krzy\u017cowej<\/a> .<\/span><\/p>\n Powodem jest to, \u017ce mo\u017cna wykaza\u0107, \u017ce ka\u017cda pr\u00f3bka bootstrap zawiera oko\u0142o 2\/3 obserwacji z oryginalnego zbioru danych. Pozosta\u0142a jedna trzecia obserwacji, kt\u00f3re nie pasuj\u0105 do drzewa w workach, nazywana jest obserwacjami out-of-bag (OOB)<\/strong> .<\/span><\/p>\n Mo\u017cemy przewidzie\u0107 warto\u015b\u0107 i-tej obserwacji w oryginalnym zbiorze danych, bior\u0105c \u015bredni\u0105 prognoz\u0119 z ka\u017cdego drzewa, w kt\u00f3rym ta obserwacja by\u0142a OOB.<\/span><\/p>\n Mo\u017cemy zastosowa\u0107 to podej\u015bcie, aby dokona\u0107 prognozy dla wszystkich n<\/em> obserwacji w oryginalnym zbiorze danych i w ten spos\u00f3b obliczy\u0107 poziom b\u0142\u0119du, kt\u00f3ry jest prawid\u0142owym oszacowaniem b\u0142\u0119du testowania.<\/span><\/p>\n Zalet\u0105 stosowania tego podej\u015bcia do szacowania b\u0142\u0119du testu jest to, \u017ce jest ono znacznie szybsze ni\u017c k-krotna walidacja krzy\u017cowa, zw\u0142aszcza gdy zbi\u00f3r danych jest du\u017cy.<\/span><\/p>\n Pami\u0119taj, \u017ce jedn\u0105 z zalet drzew decyzyjnych jest to, \u017ce mo\u017cna je \u0142atwo interpretowa\u0107 i wizualizowa\u0107.<\/span><\/p>\n Kiedy zamiast tego korzystamy z workowania, nie jeste\u015bmy ju\u017c w stanie zinterpretowa\u0107 ani wizualizowa\u0107 pojedynczego drzewa, poniewa\u017c ostateczny model w workach jest wynikiem u\u015brednienia wielu r\u00f3\u017cnych drzew. Trafno\u015b\u0107 przewidywa\u0144 zyskujemy kosztem mo\u017cliwo\u015bci interpretacji.<\/span><\/p>\n Jednak\u017ce nadal mo\u017cemy zrozumie\u0107 znaczenie ka\u017cdej zmiennej predykcyjnej, obliczaj\u0105c ca\u0142kowit\u0105 redukcj\u0119 RSS (resztowej sumy kwadrat\u00f3w) w wyniku rozk\u0142adu w obr\u0119bie danego predyktora, u\u015brednionego dla wszystkich drzew B.<\/em> Im wi\u0119ksza warto\u015b\u0107, tym wa\u017cniejszy jest predyktor.<\/span> <\/p>\n Podobnie w przypadku modeli klasyfikacyjnych mo\u017cemy obliczy\u0107 ca\u0142kowit\u0105 redukcj\u0119 indeksu Giniego w wyniku rozk\u0142adu po danym predyktorze, u\u015brednion\u0105 po wszystkich drzewach B.<\/em> Im wi\u0119ksza warto\u015b\u0107, tym wa\u017cniejszy predyktor.<\/span><\/p>\n Chocia\u017c nie mo\u017cemy dok\u0142adnie zinterpretowa\u0107 ostatecznego modelu og\u00f3lnego, nadal mo\u017cemy zorientowa\u0107 si\u0119, jak wa\u017cna jest ka\u017cda zmienna predykcyjna przy przewidywaniu odpowiedzi.<\/span><\/p>\n Zalet\u0105 workowania jest to, \u017ce generalnie zapewnia popraw\u0119 wska\u017anika b\u0142\u0119d\u00f3w testu w por\u00f3wnaniu z pojedynczym drzewem decyzyjnym.<\/span><\/p>\n Wad\u0105 jest to, \u017ce przewidywania pochodz\u0105ce ze zbioru drzew w workach mog\u0105 by\u0107 silnie skorelowane, je\u015bli w zbiorze danych wyst\u0119puje bardzo silny predyktor.<\/span><\/p>\n W tym przypadku wi\u0119kszo\u015b\u0107 lub wszystkie drzewa w workach u\u017cyj\u0105 tego predyktora przy pierwszym podziale, w wyniku czego drzewa b\u0119d\u0105 do siebie podobne i b\u0119d\u0105 mia\u0142y wysoce skorelowane przewidywania.<\/span><\/p>\n Jednym ze sposob\u00f3w obej\u015bcia tego problemu jest u\u017cycie losowych las\u00f3w, kt\u00f3re wykorzystuj\u0105 metod\u0119 podobn\u0105 do pakowania w worki, ale mog\u0105 produkowa\u0107 udekorowane drzewa, co cz\u0119sto prowadzi do ni\u017cszych wska\u017anik\u00f3w b\u0142\u0119d\u00f3w testowych.<\/span><\/p>\n Proste wprowadzenie do losowych las\u00f3w mo\u017cesz przeczyta\u0107 tutaj<\/a> .<\/span><\/p>\n Wprowadzenie do drzew klasyfikacji i regresji<\/a> Gdy zwi\u0105zek mi\u0119dzy zbiorem zmiennych predykcyjnych a zmienn\u0105 odpowiedzi jest liniowy, do modelowania zwi\u0105zku mi\u0119dzy zmiennymi mo\u017cemy zastosowa\u0107 metody takie jak wielokrotna regresja liniowa . Gdy jednak zale\u017cno\u015b\u0107 jest bardziej z\u0142o\u017cona, cz\u0119sto musimy ucieka\u0107 si\u0119 do metod nieliniowych. Jedn\u0105 z takich metod s\u0105 drzewa klasyfikacji i regresji (cz\u0119sto w skr\u00f3cie CART), kt\u00f3re wykorzystuj\u0105 zestaw zmiennych […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-1219","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/arbre3.png\")
Co to jest pakowanie?<\/strong><\/span><\/h3>\n
\n
\n
Szacowanie b\u0142\u0119d\u00f3w out-of-bag<\/strong><\/span><\/h3>\n
Zrozumienie znaczenia predyktor\u00f3w<\/strong><\/span><\/h3>\n
![\"Wykres](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/sac1.png\")
Wyjd\u017a poza pakowanie<\/strong><\/span><\/h3>\n
Dodatkowe zasoby<\/strong><\/span><\/h3>\n
Jak wykona\u0107 pakowanie w R (krok po kroku)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"