Metoda najmniejszych kwadrat\u00f3w<\/strong> to metoda statystyczna stosowana do wyznaczania r\u00f3wnania regresji. Inaczej m\u00f3wi\u0105c, metoda najmniejszych kwadrat\u00f3w jest kryterium stosowanym w modelu regresji w celu minimalizacji b\u0142\u0119du uzyskanego przy obliczaniu r\u00f3wnania regresji.<\/p>\n Konkretnie metoda najmniejszych kwadrat\u00f3w polega na minimalizowaniu sumy kwadrat\u00f3w reszt, czyli innymi s\u0142owy polega na minimalizowaniu sumy kwadrat\u00f3w r\u00f3\u017cnic pomi\u0119dzy warto\u015bciami przewidywanymi przez model regresji a warto\u015bciami obserwowanymi . . Poni\u017cej zobaczymy szczeg\u00f3\u0142owo, jak model regresji jest dopasowywany za pomoc\u0105 kryterium najmniejszych kwadrat\u00f3w.<\/p>\n G\u0142\u00f3wn\u0105 cech\u0105 metody najmniejszych kwadrat\u00f3w jest to, \u017ce minimalizowane s\u0105 najd\u0142u\u017csze odleg\u0142o\u015bci mi\u0119dzy obserwowanymi warto\u015bciami a funkcj\u0105 regresji. W przeciwie\u0144stwie do innych kryteri\u00f3w regresji, metoda najmniejszych kwadrat\u00f3w uwa\u017ca, \u017ce wa\u017cniejsze jest minimalizowanie du\u017cych reszt ni\u017c ma\u0142ych reszt, poniewa\u017c kwadrat du\u017cej liczby jest znacznie wi\u0119kszy ni\u017c kwadrat ma\u0142ej. numer.<\/p>\n Aby w pe\u0142ni zrozumie\u0107 koncepcj\u0119 najmniejszych kwadrat\u00f3w, musimy najpierw jasno okre\u015bli\u0107, jakie reszty znajduj\u0105 si\u0119 w modelu regresji. Dlatego poni\u017cej zobaczymy, czym jest b\u0142\u0105d oszacowania i jak jest obliczany.<\/p>\n W statystyce b\u0142\u0105d estymacji<\/strong> , zwany tak\u017ce rezydualnym<\/strong> , jest r\u00f3\u017cnic\u0105 mi\u0119dzy warto\u015bci\u0105 prawdziw\u0105 a warto\u015bci\u0105 dopasowan\u0105 przez model regresji. Reszt\u0119 statystyczn\u0105 oblicza si\u0119 zatem w nast\u0119puj\u0105cy spos\u00f3b:<\/p>\n<\/p>\n Z\u0142oto:<\/p>\n jest reszt\u0105 danych i.<\/li>\n to rzeczywista warto\u015b\u0107 danych, tj.<\/li>\n to warto\u015b\u0107 podana przez model regresji dla danych, tj.<\/li>\n<\/ul>\n Zatem im wi\u0119ksza reszta fragmentu danych, tym s\u0142abiej model regresji jest dostosowany do tego fragmentu danych. Zatem im mniejsza reszta, tym mniejsza odleg\u0142o\u015b\u0107 mi\u0119dzy jej rzeczywist\u0105 warto\u015bci\u0105 a warto\u015bci\u0105 przewidywan\u0105.<\/p>\n Podobnie, je\u015bli reszta fragmentu danych jest dodatnia, oznacza to, \u017ce model regresji przewiduje warto\u015b\u0107 ni\u017csz\u0105 od warto\u015bci prawdziwej. natomiast je\u015bli reszta jest ujemna, oznacza to, \u017ce warto\u015b\u0107 przewidywana jest wi\u0119ksza ni\u017c warto\u015b\u0107 rzeczywista. <\/p>\n Teraz, gdy wiemy, czym jest reszta w statystyce, \u0142atwiej b\u0119dzie zrozumie\u0107, w jaki spos\u00f3b minimalizowane s\u0105 kwadraty b\u0142\u0119d\u00f3w.<\/p>\n Kwadrat b\u0142\u0119du<\/strong> jest kwadratem reszty, zatem kwadrat b\u0142\u0119du jest r\u00f3wny r\u00f3\u017cnicy mi\u0119dzy warto\u015bci\u0105 prawdziw\u0105 a warto\u015bci\u0105 dopasowan\u0105 przez model regresji podniesion\u0105 do pot\u0119gi dw\u00f3jki.<\/p>\n<\/p>\n Z\u0142oto:<\/p>\n jest kwadratem reszty danych i.<\/li>\n to rzeczywista warto\u015b\u0107 danych, tj.<\/li>\n to warto\u015b\u0107 podana przez model regresji dla danych, tj.<\/li>\n<\/ul>\n Zatem metoda najmniejszych kwadrat\u00f3w polega na utworzeniu modelu regresji poprzez minimalizacj\u0119 sumy kwadrat\u00f3w b\u0142\u0119d\u00f3w<\/strong> . Kryterium najmniejszych kwadrat\u00f3w opiera si\u0119 zatem na minimalizacji wyra\u017cenia:<\/p>\n<\/p>\n Dlatego te\u017c kryterium najmniejszych kwadrat\u00f3w nazywane jest tak\u017ce kryterium najmniejszych kwadrat\u00f3w.<\/p>\n Jak wida\u0107 z poprzedniego wzoru, kryterium najmniejszych kwadrat\u00f3w przywi\u0105zuje wi\u0119ksz\u0105 wag\u0119 do minimalizacji du\u017cych reszt ni\u017c ma\u0142ych reszt. Na przyk\u0142ad, je\u015bli jedna reszta wynosi 3, a druga reszta wynosi 5, ich kwadraty wynosz\u0105 odpowiednio 9 i 25, wi\u0119c kryterium najmniejszych kwadrat\u00f3w b\u0119dzie priorytetem minimalizacji drugiej reszty przed pierwsz\u0105 reszt\u0105. <\/p>\n Dopasowanie modelu regresji przy u\u017cyciu kryterium najmniejszych kwadrat\u00f3w<\/strong> polega na znalezieniu modelu regresji, kt\u00f3ry minimalizuje kwadraty reszt. Zatem r\u00f3wnaniem otrzymanym z modelu regresji b\u0119dzie takie, kt\u00f3rego kwadraty r\u00f3\u017cnic pomi\u0119dzy warto\u015bciami obserwowanymi a warto\u015bciami dopasowanymi s\u0105 minimalne.<\/p>\n W poni\u017cszym przyk\u0142adzie nale\u017cy zauwa\u017cy\u0107, \u017ce istnieje wi\u0119cej kryteri\u00f3w tworzenia modelu regresji i w zale\u017cno\u015bci od wybranego kryterium r\u00f3wnanie regresji jest inne. <\/p>\n Jak wida\u0107 na poprzednich przyk\u0142adach, linia uzyskana z modelu regresji liniowej dla tego samego zbioru danych zale\u017cy od wybranego kryterium. Generalnie w modelach regresji stosuje si\u0119 kryterium najmniejszych kwadrat\u00f3w.<\/p>\n W statystyce najcz\u0119\u015bciej stosowanym modelem regresji jest prosty model regresji liniowej, kt\u00f3ry polega na aproksymacji zale\u017cno\u015bci pomi\u0119dzy zmienn\u0105 niezale\u017cn\u0105 X i zmienn\u0105 zale\u017cn\u0105 Y za pomoc\u0105 linii prostej.<\/p>\n<\/p>\n Zatem wzory na dopasowanie zbioru danych do prostego modelu regresji liniowej s\u0105 nast\u0119puj\u0105ce:<\/p>\n<\/p>\n Przyk\u0142ad obliczenia prostego modelu regresji liniowej przy u\u017cyciu kryterium najmniejszych kwadrat\u00f3w mo\u017cna zobaczy\u0107, klikaj\u0105c poni\u017cszy link: <\/p>\n<\/span> B\u0142\u0105d szacunkowy<\/span><\/h2>\n
![\"e_i=y_i-\\widehat{y}_i\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-2028e64ca2c0035860e93c4bf244e2f1_l3.png\" "\\"Rendered")
<\/p>\n<\/p>\n\n
![\"e_i\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-550848dfdd05b5c6464d4e22fbf52486_l3.png\" "\\"Rendered")
<\/p>\n![\"y_i\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-761333a1d61654bd1cb5c7224b0d1994_l3.png\" "\\"Rendered")
<\/p>\n![\"\\widehat{y}_i\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-a990a8fe969bd365cba7899d3d1c4406_l3.png\" "\\"Rendered")
<\/p>\n<\/span> Minimalizuj kwadraty b\u0142\u0119d\u00f3w<\/span><\/h2>\n
![\"e_i^2=(y_i-\\widehat{y}_i)^2\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-f16302b9c06981bd49aad51ca8924592_l3.png\" "\\"Rendered")
<\/p>\n<\/p>\n\n
![\"e_i^2\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-56f396eccc309c513ef34dc82f6fcd9b_l3.png\" "\\"Rendered")
<\/p>\n<\/p>\n<\/p>\n![\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-0a82d4d723b77093b4d584609f372cd7_l3.png\" "\\"Rendered")
<\/p>\n<\/p>\n<\/span> Regulacja metod\u0105 najmniejszych kwadrat\u00f3w<\/span><\/h2>\n
![\"metoda](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/ajustement-par-les-moindres-carres.png\")
<\/figure>\n![\"y=b_0+b_1x\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-92da05e7be03363fecef8974393a84fd_l3.png\" "\\"Rendered")
<\/p>\n<\/p>\n![\"b_1=\\cfrac{\\displaystyle](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-f4582a02500f36499fc60647a4dd5869_l3.png\" "\\"Rendered")
<\/p>\n<\/p>\n![\"b_0=\\overline{y}-b_1\\overline{x}\"](\"https:\/\/statorials.org\/wp-content\/ql-cache\/quicklatex.com-369b22bafb2489dc46579d38f5ac6917_l3.png\" "\\"Rendered")
<\/p>\n<\/p>\n