Je\u017celi to za\u0142o\u017cenie nie jest przestrzegane, w resztach wyst\u0119puje heteroskedastyczno\u015b\u0107<\/a> . Kiedy tak si\u0119 dzieje, wyniki regresji staj\u0105 si\u0119 niewiarygodne.<\/span><\/p>\n Jednym ze sposob\u00f3w rozwi\u0105zania tego problemu jest zastosowanie regresji wa\u017conej metod\u0105 najmniejszych kwadrat\u00f3w<\/strong> , kt\u00f3ra przypisuje wagi obserwacjom<\/a> w taki spos\u00f3b, \u017ce obserwacje o ma\u0142ej wariancji b\u0142\u0119du otrzymuj\u0105 wi\u0119ksz\u0105 wag\u0119, poniewa\u017c zawieraj\u0105 wi\u0119cej informacji w por\u00f3wnaniu z obserwacjami o wi\u0119kszej wariancji b\u0142\u0119du.<\/span><\/p>\n W tym samouczku przedstawiono krok po kroku przyk\u0142ad wykonania wa\u017conej regresji metod\u0105 najmniejszych kwadrat\u00f3w w j\u0119zyku R.<\/span><\/p>\n Poni\u017cszy kod tworzy ramk\u0119 danych zawieraj\u0105c\u0105 liczb\u0119 przepracowanych godzin i odpowiadaj\u0105cy im wynik egzaminu dla 16 uczni\u00f3w:<\/span><\/p>\n Nast\u0119pnie u\u017cyjemy funkcji lm(),<\/strong> aby dopasowa\u0107 prosty model regresji liniowej<\/a> , kt\u00f3ry wykorzystuje godziny jako zmienn\u0105 predykcyjn\u0105 i wynik jakozmienn\u0105 odpowiedzi<\/a> :<\/span><\/p>\n Nast\u0119pnie utworzymy wykres reszt i dopasowanych warto\u015bci, aby wizualnie sprawdzi\u0107 heteroskedastyczno\u015b\u0107:<\/span> <\/p>\n Z wykresu widzimy, \u017ce reszty maj\u0105 kszta\u0142t \u201esto\u017cka\u201d: nie s\u0105 rozmieszczone z r\u00f3wn\u0105 wariancj\u0105 na ca\u0142ym wykresie.<\/span><\/p>\n Aby formalnie przetestowa\u0107 heteroskedastyczno\u015b\u0107, mo\u017cemy wykona\u0107 test Breuscha-Pagana:<\/span><\/p>\n Test Breuscha-Pagana wykorzystuje nast\u0119puj\u0105ce hipotezy<\/a><\/span> zerowe i alternatywne<\/span> :<\/p>\n Poniewa\u017c warto\u015b\u0107 p testu wynosi 0,0466<\/strong> , odrzucimy hipotez\u0119 zerow\u0105 i dojdziemy do wniosku, \u017ce heteroskedastyczno\u015b\u0107 jest problemem w tym modelu.<\/span><\/p>\n Poniewa\u017c wyst\u0119puje heteroskedastyczno\u015b\u0107, przeprowadzimy wa\u017con\u0105 metod\u0119 najmniejszych kwadrat\u00f3w, ustawiaj\u0105c wagi w taki spos\u00f3b, aby obserwacje o mniejszej wariancji otrzyma\u0142y wi\u0119ksz\u0105 wag\u0119:<\/span><\/p>\n Na podstawie wynik\u00f3w wida\u0107, \u017ce estymacja wsp\u00f3\u0142czynnika dla zmiennej predykcyjnej godzin<\/em> uleg\u0142a niewielkiej zmianie, a og\u00f3lne dopasowanie modelu uleg\u0142o poprawie.<\/span><\/p>\n Wa\u017cony model najmniejszych kwadrat\u00f3w ma resztkowy b\u0142\u0105d standardowy wynosz\u0105cy 1,199<\/strong> w por\u00f3wnaniu z 9,224<\/strong> w oryginalnym prostym modelu regresji liniowej.<\/span><\/p>\n Oznacza to, \u017ce warto\u015bci przewidywane uzyskane za pomoc\u0105 modelu wa\u017conego najmniejszych kwadrat\u00f3w s\u0105 znacznie bli\u017csze faktycznym obserwacjom w por\u00f3wnaniu z warto\u015bciami przewidywanymi uzyskanymi za pomoc\u0105 prostego modelu regresji liniowej.<\/span><\/p>\n Wa\u017cony model najmniejszych kwadrat\u00f3w r\u00f3wnie\u017c ma R-kwadrat wynosz\u0105cy 0,6762<\/strong> w por\u00f3wnaniu z 0,6296<\/strong> w oryginalnym prostym modelu regresji liniowej.<\/span><\/p>\n Oznacza to, \u017ce wa\u017cony model najmniejszych kwadrat\u00f3w jest w stanie wyja\u015bni\u0107 wi\u0119cej wariancji w wynikach egzamin\u00f3w ni\u017c prosty model regresji liniowej.<\/span><\/p>\n Pomiary te wskazuj\u0105, \u017ce wa\u017cony model najmniejszych kwadrat\u00f3w zapewnia lepsze dopasowanie do danych w por\u00f3wnaniu z prostym modelem regresji liniowej.<\/span><\/p>\n Jak wykona\u0107 prost\u0105 regresj\u0119 liniow\u0105 w R<\/a> Jednym z kluczowych za\u0142o\u017ce\u0144 regresji liniowej jest to, \u017ce reszty maj\u0105 rozk\u0142ad z r\u00f3wn\u0105 wariancj\u0105 na ka\u017cdym poziomie zmiennej predykcyjnej. Za\u0142o\u017cenie to znane jest jako homoskedastyczno\u015b\u0107 . Je\u017celi to za\u0142o\u017cenie nie jest przestrzegane, w resztach wyst\u0119puje heteroskedastyczno\u015b\u0107 . Kiedy tak si\u0119 dzieje, wyniki regresji staj\u0105 si\u0119 niewiarygodne. Jednym ze sposob\u00f3w rozwi\u0105zania tego problemu jest zastosowanie […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3],"tags":[],"class_list":["post-1332","post","type-post","status-publish","format-standard","hentry","category-przewodnik"],"yoast_head":"\n Krok 1: Utw\u00f3rz dane<\/strong><\/span><\/h3>\n
df <- data.frame(hours=c(1, 1, 2, 2, 2, 3, 4, 4, 4, 5, 5, 5, 6, 6, 7, 8),\n score=c(48, 78, 72, 70, 66, 92, 93, 75, 75, 80, 95, 97, 90, 96, 99, 99))\n<\/strong><\/pre>\n
Krok 2: Wykonaj regresj\u0119 liniow\u0105<\/strong><\/span><\/h3>\n
#fit simple linear regression model\n<\/span>model <- lm(score ~ hours, data = df)\n\n#view summary of model\n<\/span>summary(model)\n\nCall:\nlm(formula = score ~ hours, data = df)\n\nResiduals:\n Min 1Q Median 3Q Max \n-17,967 -5,970 -0.719 7,531 15,032 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 60,467 5,128 11,791 1.17e-08 ***\nhours 5,500 1,127 4,879 0.000244 ***\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 9.224 on 14 degrees of freedom\nMultiple R-squared: 0.6296, Adjusted R-squared: 0.6032 \nF-statistic: 23.8 on 1 and 14 DF, p-value: 0.0002438\n<\/strong><\/pre>\n Krok 3: Test na heteroskedastyczno\u015b\u0107<\/strong><\/span><\/h3>\n
#create residual vs. fitted plot\n<\/span>plot( fitted<\/span> (model), resid<\/span> (model), xlab=' Fitted Values<\/span> ', ylab=' Residuals<\/span> ')\n\n#add a horizontal line at 0 \n<\/span>abline(0,0)<\/strong> <\/pre>\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/wls1.png\")
<\/p>\n #load lmtest package\n<\/span>library<\/span> (lmtest)\n\n#perform Breusch-Pagan test<\/span>\nbptest(model)\n\n\tstudentized Breusch-Pagan test\n\ndata: model\nBP = 3.9597, df = 1, p-value = 0.0466\n<\/strong><\/pre>\n\n
Krok 4: Wykonaj regresj\u0119 wa\u017con\u0105 metod\u0105 najmniejszych kwadrat\u00f3w<\/strong><\/span><\/h3>\n
#define weights to use\n<\/span>wt <- 1 \/ lm( abs<\/span> (model$residuals) ~ model$fitted. values<\/span> )$fitted. values<\/span> ^2\n\n#perform weighted least squares regression\n<\/span>wls_model <- lm(score ~ hours, data = df, weights=wt)\n\n#view summary of model\n<\/span>summary(wls_model)\n\nCall:\nlm(formula = score ~ hours, data = df, weights = wt)\n\nWeighted Residuals:\n Min 1Q Median 3Q Max \n-2.0167 -0.9263 -0.2589 0.9873 1.6977 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 63.9689 5.1587 12.400 6.13e-09 ***\nhours 4.7091 0.8709 5.407 9.24e-05 ***\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 1.199 on 14 degrees of freedom\nMultiple R-squared: 0.6762, Adjusted R-squared: 0.6531 \nF-statistic: 29.24 on 1 and 14 DF, p-value: 9.236e-05\n<\/strong><\/span><\/pre>\n Dodatkowe zasoby<\/strong><\/span><\/h3>\n
Jak wykona\u0107 wielokrotn\u0105 regresj\u0119 liniow\u0105 w R<\/a>
Jak przeprowadzi\u0107 regresj\u0119 kwantylow\u0105 w R<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"