<\/p>\n
W statystyce selekcja krokowa<\/strong> to procedura, kt\u00f3r\u0105 mo\u017cemy zastosowa\u0107 do skonstruowania modelu regresji<\/a> ze zbioru zmiennych predykcyjnych poprzez stopniowe wprowadzanie i usuwanie predyktor\u00f3w w modelu, a\u017c do momentu, gdy nie b\u0119dzie ju\u017c statystycznie uzasadnionego powodu do wprowadzenia lub usu\u0144 wi\u0119cej.<\/span><\/p>\n Celem selekcji krokowej jest utworzenie modelu regresji obejmuj\u0105cego wszystkie zmienne predykcyjne, kt\u00f3re s\u0105 statystycznie istotnie powi\u0105zane ze zmienn\u0105 odpowiedzi<\/a> .<\/span><\/p>\n Jedn\u0105 z najcz\u0119\u015bciej stosowanych metod selekcji krok po kroku jest selekcja wsteczna<\/strong> , kt\u00f3ra dzia\u0142a w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n Krok 1:<\/strong> Dopasuj model regresji, u\u017cywaj\u0105c wszystkich zmiennych predykcyjnych p<\/em> . Oblicz warto\u015b\u0107 AIC *<\/strong> dla modelu.<\/span><\/p>\n Krok 2:<\/strong> Usu\u0144 zmienn\u0105 predykcyjn\u0105, kt\u00f3ra powoduje najwi\u0119ksz\u0105 redukcj\u0119 AIC, a tak\u017ce powoduje statystycznie istotn\u0105 redukcj\u0119 AIC w por\u00f3wnaniu z modelem ze wszystkimi p<\/em> zmiennymi predykcyjnymi.<\/span><\/p>\n Krok 3:<\/strong> Usu\u0144 zmienn\u0105 predykcyjn\u0105, kt\u00f3ra powoduje najwi\u0119ksz\u0105 redukcj\u0119 AIC, a tak\u017ce powoduje statystycznie istotn\u0105 redukcj\u0119 AIC w por\u00f3wnaniu z modelem ze zmiennymi predykcyjnymi p-1<\/em> .<\/span><\/p>\n Powtarzaj proces do momentu, a\u017c usuni\u0119cie jakichkolwiek zmiennych predykcyjnych nie b\u0119dzie ju\u017c prowadzi\u0107 do statystycznie istotnego zmniejszenia AIC.<\/span><\/p>\n *<\/strong> Istnieje kilka wska\u017anik\u00f3w, kt\u00f3rych mo\u017cna u\u017cy\u0107 do obliczenia dobroci dopasowania modelu regresji, w tym b\u0142\u0105d przewidywania w ramach walidacji krzy\u017cowej, Cp, BIC, AIC lub skorygowany R2<\/sup> .<\/span> W poni\u017cszym przyk\u0142adzie zdecydowali\u015bmy si\u0119 na u\u017cycie AIC.<\/span><\/p>\n Poni\u017cszy przyk\u0142ad pokazuje, jak wykona\u0107 zaznaczenie wstecz w R.<\/span><\/p>\n W tym przyk\u0142adzie u\u017cyjemy zestawu danych mtcars<\/a> wbudowanego w R:<\/span><\/p>\n Dopasujemy model regresji liniowej, wykorzystuj\u0105c mpg<\/em> (mile na galon) jako zmienn\u0105 odpowiedzi i pozosta\u0142ych 10 zmiennych w zestawie danych jako potencjalne zmienne predykcyjne.<\/span><\/p>\n Poni\u017cszy kod pokazuje, jak cofn\u0105\u0107 si\u0119:<\/span><\/p>\n Oto jak interpretowa\u0107 wyniki:<\/span><\/p>\n Najpierw dopasowujemy model za pomoc\u0105 10 zmiennych predykcyjnych i obliczamy AIC modelu.<\/span><\/p>\n Nast\u0119pnie usun\u0119li\u015bmy zmienn\u0105 ( cyl<\/strong> ), kt\u00f3ra spowodowa\u0142a najwi\u0119ksz\u0105 redukcj\u0119 AIC, a tak\u017ce uzyskali\u015bmy statystycznie istotn\u0105 redukcj\u0119 AIC w por\u00f3wnaniu z modelem 10 zmiennych predykcyjnych.<\/span><\/p>\n Nast\u0119pnie usun\u0119li\u015bmy zmienn\u0105 ( vs<\/strong> ), kt\u00f3ra doprowadzi\u0142a do najwi\u0119kszej redukcji AIC, a tak\u017ce uzyskali\u015bmy statystycznie istotn\u0105 redukcj\u0119 AIC w por\u00f3wnaniu z modelem zmiennych predykcyjnych z 9 predyktorami.<\/span><\/p>\n Nast\u0119pnie usun\u0119li\u015bmy zmienn\u0105 ( w\u0119glowodany<\/strong> ), kt\u00f3ra spowodowa\u0142a najwi\u0119ksz\u0105 redukcj\u0119 AIC, a tak\u017ce uzyskali\u015bmy statystycznie istotn\u0105 redukcj\u0119 AIC w por\u00f3wnaniu z modelem zmiennych 8-predykcyjnych.<\/span><\/p>\n Powtarzali\u015bmy ten proces do momentu usuni\u0119cia jakiejkolwiek zmiennej, kt\u00f3ra nie powodowa\u0142a ju\u017c statystycznie istotnego zmniejszenia AIC.<\/span><\/p>\n Ostateczny model wygl\u0105da nast\u0119puj\u0105co:<\/span><\/p>\n mpg = 9,62 \u2013 3,92*waga + 1,23*qs + 2,94*am<\/strong><\/span><\/p>\n W poprzednim przyk\u0142adzie zdecydowali\u015bmy si\u0119 u\u017cy\u0107 AIC jako metryki do oceny dopasowania r\u00f3\u017cnych modeli regresji.<\/span><\/p>\n AIC oznacza kryterium informacyjne Akaike<\/strong> i jest obliczane w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n AIC = 2K \u2013 2 ln<\/em> (L)<\/span><\/p>\n Z\u0142oto:<\/span><\/p>\n Istniej\u0105 jednak inne wska\u017aniki, kt\u00f3re mo\u017cna wykorzysta\u0107 do oceny dopasowania modeli regresji, w tym b\u0142\u0105d przewidywania w ramach walidacji krzy\u017cowej, Cp, BIC, AIC lub skorygowany R2<\/sup> .<\/span><\/p>\n Na szcz\u0119\u015bcie wi\u0119kszo\u015b\u0107 program\u00f3w statystycznych pozwala okre\u015bli\u0107, jakiego wska\u017anika chcesz u\u017cy\u0107 podczas retrospektywnego przegl\u0105du.<\/span><\/p>\n Poni\u017csze samouczki zawieraj\u0105 dodatkowe informacje na temat modeli regresji:<\/span><\/p>\n Wprowadzenie do selekcji bezpo\u015bredniej<\/a> W statystyce selekcja krokowa to procedura, kt\u00f3r\u0105 mo\u017cemy zastosowa\u0107 do skonstruowania modelu regresji ze zbioru zmiennych predykcyjnych poprzez stopniowe wprowadzanie i usuwanie predyktor\u00f3w w modelu, a\u017c do momentu, gdy nie b\u0119dzie ju\u017c statystycznie uzasadnionego powodu do wprowadzenia lub usu\u0144 wi\u0119cej. Celem selekcji krokowej jest utworzenie modelu regresji obejmuj\u0105cego wszystkie zmienne predykcyjne, kt\u00f3re s\u0105 statystycznie istotnie […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-3139","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n Przyk\u0142ad: selekcja wstecz w R<\/strong><\/span><\/h3>\n
#view first six rows of mtcars\n<\/em><\/span>head(mtcars)\n\n mpg cyl disp hp drat wt qsec vs am gear carb\nMazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4\nMazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4\nDatsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1\nHornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1\nHornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2\nValiant 18.1 6 225 105 2.76 3,460 20.22 1 0 3 1\n<\/strong><\/pre>\n #define intercept-only model\n<\/span>intercept_only <- lm(mpg ~ 1, data=mtcars)\n\n#define model with all predictors\n<\/span>all <- lm(mpg ~ ., data=mtcars)\n\n#perform backward stepwise regression\n<\/span>backward <- step(all, direction=' backward<\/span> ', scope= formula<\/span> (all), trace=0)\n\n#view results of backward stepwise regression<\/span>\nbackward$anova\n\n Step Df Deviance Resid. Df Resid. Dev AIC\n1 NA NA 21 147.4944 70.89774\n2 - cyl 1 0.07987121 22 147.5743 68.91507\n3 - vs 1 0.26852280 23 147.8428 66.97324\n4 - carb 1 0.68546077 24 148.5283 65.12126\n5 - gear 1 1.56497053 25 150.0933 63.45667\n6 - drat 1 3.34455117 26 153.4378 62.16190\n7 - available 1 6.62865369 27 160.0665 61.51530\n8 - hp 1 9.21946935 28 169.2859 61.30730\n\n#view final model\n<\/span>backward$coefficients\n\n(Intercept) wt qsec am \n 9.617781 -3.916504 1.225886 2.935837\n<\/strong><\/pre>\n Uwaga dotycz\u0105ca korzystania z AIC<\/strong><\/span><\/h3>\n
\n
Dodatkowe zasoby<\/strong><\/span><\/h3>\n
Przewodnik po wielowsp\u00f3\u0142liniowo\u015bci i VIF w regresji<\/a>
Co uwa\u017ca si\u0119 za dobr\u0105 warto\u015b\u0107 AIC?<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"