<\/p>\n
W statystyce selekcja krokowa<\/strong> to procedura, kt\u00f3r\u0105 mo\u017cemy zastosowa\u0107 do skonstruowania modelu regresji<\/a> ze zbioru zmiennych predykcyjnych poprzez stopniowe wprowadzanie i usuwanie predyktor\u00f3w w modelu, a\u017c do momentu, gdy nie b\u0119dzie ju\u017c statystycznie uzasadnionego powodu do wprowadzenia lub usu\u0144 wi\u0119cej.<\/span><\/p>\n Celem selekcji krokowej jest utworzenie modelu regresji obejmuj\u0105cego wszystkie zmienne predykcyjne, kt\u00f3re s\u0105 statystycznie istotnie powi\u0105zane ze zmienn\u0105 odpowiedzi<\/a> .<\/span><\/p>\n Jedn\u0105 z najcz\u0119\u015bciej stosowanych metod selekcji krok po kroku jest selekcja bezpo\u015brednia<\/strong> , kt\u00f3ra dzia\u0142a w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/span><\/p>\n Krok 1:<\/strong> Dopasuj model regresji zawieraj\u0105cy wy\u0142\u0105cznie wyraz wolny bez zmiennych predykcyjnych. Oblicz warto\u015b\u0107 AIC *<\/strong> dla modelu.<\/span><\/p>\n Krok 2:<\/strong> Dopasuj wszystkie mo\u017cliwe modele regresji z jednym predyktorem. Zidentyfikuj model, kt\u00f3ry wygenerowa\u0142 najni\u017csze AIC, a tak\u017ce mia\u0142 statystycznie istotne zmniejszenie AIC w por\u00f3wnaniu z modelem obejmuj\u0105cym wy\u0142\u0105cznie przechwytywanie.<\/span><\/p>\n Krok 3:<\/strong> Dopasuj wszystkie modele regresji do dw\u00f3ch mo\u017cliwych predyktor\u00f3w. Zidentyfikuj model, kt\u00f3ry wygenerowa\u0142 najni\u017csze AIC, a tak\u017ce mia\u0142 statystycznie istotne zmniejszenie AIC w por\u00f3wnaniu z modelem z jednym predyktorem.<\/span><\/p>\n Powtarzaj ten proces, a\u017c dopasowanie modelu regresji z wi\u0119ksz\u0105 liczb\u0105 zmiennych predykcyjnych nie b\u0119dzie ju\u017c prowadzi\u0107 do statystycznie istotnego zmniejszenia AIC.<\/span><\/p>\n *<\/strong> Istnieje kilka wska\u017anik\u00f3w, kt\u00f3rych mo\u017cna u\u017cy\u0107 do obliczenia dobroci dopasowania modelu regresji, w tym b\u0142\u0105d przewidywania w ramach walidacji krzy\u017cowej, Cp, BIC, AIC lub skorygowany R2<\/sup> .<\/span> W poni\u017cszym przyk\u0142adzie zdecydowali\u015bmy si\u0119 na u\u017cycie AIC.<\/span><\/p>\n Poni\u017cszy przyk\u0142ad pokazuje, jak przeprowadzi\u0107 bezpo\u015bredni wyb\u00f3r w R.<\/span><\/p>\n W tym przyk\u0142adzie u\u017cyjemy zestawu danych mtcars<\/a> wbudowanego w R:<\/span><\/p>\n Dopasujemy model regresji liniowej, wykorzystuj\u0105c mpg<\/em> (mile na galon) jako zmienn\u0105 odpowiedzi i pozosta\u0142ych 10 zmiennych w zestawie danych jako potencjalne zmienne predykcyjne.<\/span><\/p>\n Poni\u017cszy kod pokazuje, jak krok po kroku dokona\u0107 wyboru:<\/span><\/p>\n Oto jak interpretowa\u0107 wyniki:<\/span><\/p>\n Najpierw dopasowujemy model tylko przechwytuj\u0105cy. Model ten mia\u0142 AIC wynosz\u0105cy 115,94345<\/strong> .<\/span><\/p>\n Nast\u0119pnie dopasowujemy wszystkie mo\u017cliwe modele do predyktora. W modelu, kt\u00f3ry generowa\u0142 najni\u017csze AIC, a tak\u017ce charakteryzowa\u0142 si\u0119 statystycznie istotn\u0105 redukcj\u0105 AIC w por\u00f3wnaniu z modelem zawieraj\u0105cym wy\u0142\u0105cznie przechwytywanie, zastosowano predyktor wt<\/em> . Model ten mia\u0142 AIC 73,21736<\/strong> .<\/span><\/p>\n Nast\u0119pnie dopasowujemy wszystkie mo\u017cliwe modele za pomoc\u0105 dw\u00f3ch predyktor\u00f3w. Model, kt\u00f3ry wygenerowa\u0142 najni\u017csz\u0105 warto\u015b\u0107 AIC, a tak\u017ce charakteryzowa\u0142 si\u0119 statystycznie istotn\u0105 redukcj\u0105 AIC w por\u00f3wnaniu z modelem z pojedynczym predyktorem, doda\u0142 predyktor cyl<\/em> . Model ten mia\u0142 AIC 63,19800<\/strong> .<\/span><\/p>\n Nast\u0119pnie dopasowujemy wszystkie mo\u017cliwe modele do trzech predyktor\u00f3w. Model, kt\u00f3ry generowa\u0142 najni\u017csze AIC i kt\u00f3ry r\u00f3wnie\u017c charakteryzowa\u0142 si\u0119 statystycznie istotn\u0105 redukcj\u0105 AIC w por\u00f3wnaniu z modelem z dwoma predyktorami, doda\u0142 predyktor hp<\/em> . Model ten mia\u0142 AIC wynosz\u0105cy 62,66456<\/strong> .<\/span><\/p>\n Nast\u0119pnie dopasowujemy wszystkie mo\u017cliwe modele do czterech predyktor\u00f3w. Okaza\u0142o si\u0119, \u017ce \u017caden z tych modeli nie spowodowa\u0142 znacz\u0105cej redukcji AIC, wi\u0119c przerwali\u015bmy procedur\u0119.<\/span><\/p>\n Ostateczny model zatem wygl\u0105da nast\u0119puj\u0105co:<\/span><\/p>\n mpg = 38,75 \u2013 3,17*waga \u2013 0,94*cyl \u2013 0,02*hip<\/strong><\/span><\/p>\n Okazuje si\u0119, \u017ce pr\u00f3ba dodania do modelu wi\u0119kszej liczby zmiennych predykcyjnych nie prowadzi do istotnego statystycznie zmniejszenia AIC.<\/span><\/p>\n Zatem dochodzimy do wniosku, \u017ce najlepszym modelem jest ten, w kt\u00f3rym wyst\u0119puj\u0105 trzy zmienne predykcyjne: wt, cyl i hp.<\/span><\/p>\n W poprzednim przyk\u0142adzie zdecydowali\u015bmy si\u0119 u\u017cy\u0107 AIC jako miernika do oceny dopasowania r\u00f3\u017cnych modeli regresji.<\/span><\/p>\n AIC oznacza kryterium informacyjne Akaike<\/strong> i jest obliczane w nast\u0119puj\u0105cy spos\u00f3b:<\/span><\/p>\n AIC = 2K \u2013 2 ln<\/em> (L)<\/span><\/p>\n Z\u0142oto:<\/span><\/p>\n Istniej\u0105 jednak inne wska\u017aniki, kt\u00f3re mo\u017cna wykorzysta\u0107 do oceny dopasowania modeli regresji, w tym b\u0142\u0105d przewidywania w ramach walidacji krzy\u017cowej, Cp, BIC, AIC lub skorygowany R2<\/sup> .<\/span><\/p>\n Na szcz\u0119\u015bcie wi\u0119kszo\u015b\u0107 program\u00f3w statystycznych pozwala okre\u015bli\u0107, jakiej metryki chcesz u\u017cy\u0107 przy bezpo\u015brednim wyborze.<\/span><\/p>\n Poni\u017csze samouczki zawieraj\u0105 dodatkowe informacje na temat modeli regresji:<\/span><\/p>\n Przewodnik po wielowsp\u00f3\u0142liniowo\u015bci i VIF w regresji<\/a> W statystyce selekcja krokowa to procedura, kt\u00f3r\u0105 mo\u017cemy zastosowa\u0107 do skonstruowania modelu regresji ze zbioru zmiennych predykcyjnych poprzez stopniowe wprowadzanie i usuwanie predyktor\u00f3w w modelu, a\u017c do momentu, gdy nie b\u0119dzie ju\u017c statystycznie uzasadnionego powodu do wprowadzenia lub usu\u0144 wi\u0119cej. Celem selekcji krokowej jest utworzenie modelu regresji obejmuj\u0105cego wszystkie zmienne predykcyjne, kt\u00f3re s\u0105 statystycznie istotnie […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-3138","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n Przyk\u0142ad: bezpo\u015bredni wyb\u00f3r w R<\/strong><\/span><\/h3>\n
#view first six rows of mtcars\n<\/em><\/span>head(mtcars)\n\n mpg cyl disp hp drat wt qsec vs am gear carb\nMazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4\nMazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4\nDatsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1\nHornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1\nHornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2\nValiant 18.1 6 225 105 2.76 3,460 20.22 1 0 3 1\n<\/strong><\/pre>\n #define intercept-only model\n<\/span>intercept_only <- lm(mpg ~ 1, data=mtcars)\n\n#define model with all predictors\n<\/span>all <- lm(mpg ~ ., data=mtcars)\n\n#perform forward stepwise regression\n<\/span>forward <- step(intercept_only, direction=' forward<\/span> ', scope= formula<\/span> (all), trace= 0<\/span> )\n\n#view results of forward stepwise regression<\/span>\nforward$anova\n\n Step Df Deviance Resid. Df Resid. Dev AIC\n1 NA NA 31 1126.0472 115.94345\n2 + wt -1 847.72525 30 278.3219 73.21736\n3 + cyl -1 87.14997 29 191.1720 63.19800\n4 + hp -1 14.55145 28 176.6205 62.66456\n\n#view final model\n<\/span>forward$coefficients\n\n(Intercept) wt cyl hp \n 38.7517874 -3.1669731 -0.9416168 -0.0180381 \n<\/strong><\/pre>\n Uwaga dotycz\u0105ca korzystania z AIC<\/strong><\/span><\/h3>\n
\n
Dodatkowe zasoby<\/strong><\/span><\/h3>\n
Co uwa\u017ca si\u0119 za dobr\u0105 warto\u015b\u0107 AIC?<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"