Regresja wielomianowa

Przez Benjamin Anderson 2 sierpnia, 2023 Statystyka 0 komentarzy

W tym artykule wyjaśniono, czym jest regresja wielomianowa w statystyce i jak jest wykonywana. Dodatkowo będzie można zobaczyć przykład wykonania regresji wielomianowej.

Co to jest regresja wielomianowa?

Regresja wielomianowa lub regresja wielomianowa to model regresji, w którym związek między zmienną niezależną X a zmienną zależną Y jest modelowany za pomocą wielomianu.

Na przykład równanie modelu regresji wielomianowej kwadratowej ma postać y=β ₀ +β ₁ x+β ₂ x ² +ε.

Regresja wielomianowa jest przydatna do dopasowywania zbiorów danych, których wykresy są krzywymi wielomianowymi. Jeśli zatem wykres punktowy próbki danych ma kształt paraboli, lepszym rozwiązaniem będzie skonstruowanie modelu regresji kwadratowej niż modelu regresji liniowej. W ten sposób równanie modelu regresji będzie lepiej pasować do próbki danych.

Należy zauważyć, że regresja wielomianowa jest rodzajem regresji nieliniowej, podobnie jak regresja wykładnicza i regresja logarytmiczna.

Wzór regresji wielomianowej

Równanie modelu regresji wielomianowej to y=β ₀ +β ₁ x+β ₂ x ² +β ₃ x ³ …+β _m x ^m +ε.

$y=\beta_0+\beta_1 x+\beta_2 x^2+\beta_3 x^3+\dots+\beta_m x^m+\varepsilon$

Złoto:

$y$

jest zmienną zależną.
$x$

jest zmienną niezależną.
$\beta_0$

jest stałą równania regresji wielomianowej.
$\beta_i$

jest współczynnikiem regresji powiązanym ze zmienną

$x^i$

.
$\bm{\varepsilon}$

Jest to błąd lub reszta, czyli różnica między wartością obserwowaną a wartością oszacowaną przez model.

Jeśli więc mamy próbkę o łącznej wartości

$n$

obserwacji możemy zaproponować model regresji wielomianowej w postaci macierzowej:

$\begin{pmatrix}y_1\\y_2\\y_3\\\vdots\\y_n\end{pmatrix}=\begin{pmatrix}1&x_1&x_1^2&\dots&x_1^m\\1&x_2&x_2^2&\dots&x_2^m\\1&x_3&x_3^2&\dots&x_3^m\\ \vdots&\vdots&\ddots&\vdots\\1&x_{n}&x_n^2&\dots&x_n^m\end{pmatrix}\cdot\begin{pmatrix}\beta_0\\\beta_1\\\beta_2\\\vdots\\\beta_m\end{pmatrix}+\begin{pmatrix}\varepsilon_1\\\varepsilon_2\\\varepsilon_3\\\vdots\\\varepsilon_n\end{pmatrix}$

Powyższe wyrażenie macierzowe można przepisać, przypisując literę do każdej macierzy:

$Y=X\beta+\varepsilon$

Zatem, stosując kryterium najmniejszych kwadratów , możemy otrzymać wzór na oszacowanie współczynników modelu regresji wielomianowej :

$\widehat{\beta}=\left(X^tX\right)^{-1}X^tY$

Ręczne wykonywanie tych obliczeń jest jednak bardzo pracochłonne i czasochłonne, dlatego wygodniej jest skorzystać z programów komputerowych (np. Minitab czy Excel), które pozwalają znacznie szybciej wykonać model regresji wielomianowej.

Przykład modelu regresji wielomianowej

Teraz, gdy znamy już definicję regresji wielomianowej i sposób jej przeprowadzania, spójrzmy na przykład z życia wzięty, aby w pełni zrozumieć tę koncepcję.

Przede wszystkim należy pamiętać, że model regresji wielomianowej należy wykonać, gdy wykres danych ma kształt krzywej wielomianowej. Na przykład, jeśli wykres punktowy ma postać krzywej sześciennej, musimy skonstruować model regresji wielomianowej trzeciego stopnia.

Zatem, jak widać na poniższym obrazku, wykres punktowy naszych danych ma kształt kwadratowy, ponieważ w miarę zwiększania wartości zmiennej niezależnej zmienna zależna rośnie szybciej. W tym przypadku wykonano model regresji liniowej i jak widać nie pasuje on dobrze do punktów, ponieważ posiada odcinki, w których linia znajduje się poniżej wszystkich punktów oraz odcinki, w których linia znajduje się nad nimi.

Z drugiej strony, jeśli uruchomimy model regresji wielomianowej kwadratowej, będzie on znacznie lepiej pasował do przykładowych danych, jak widać na poniższym obrazku.

Ponadto przy opracowywaniu modelu regresji wielomianowej współczynnik determinacji znacznie się poprawia, ponieważ wzrasta z 86,80% do 94,05%. Dlatego nowy model regresji znacznie lepiej wyjaśnia zbiór danych.

Z drugiej strony kolejną wskazówką, że musimy przeprowadzić regresję wielomianową, jest wykreślenie reszt. Jeśli w regresji liniowej wykres reszt ma kształt paraboli lub innego rodzaju wielomianu, model regresji wielomianowej z pewnością lepiej pasuje do badanych danych.

Inne rodzaje regresji nieliniowej

Istnieją głównie trzy typy regresji nieliniowej:

Regresja wielomianowa – równanie modelu regresji ma postać wielomianu.
Regresja logarytmiczna : przyjmuje się logarytm zmiennej niezależnej.
Regresja wykładnicza : Zmienna niezależna znajduje się w wykładniku równania.

➤ Zobacz: Regresja logarytmiczna
➤ Zobacz: Regresja wykładnicza

o autorze

Dr Benjamin Anderson

Cześć, jestem Benjamin i jestem emerytowanym profesorem statystyki, który został oddanym nauczycielem Statorials. Dzięki bogatemu doświadczeniu i wiedzy specjalistycznej w dziedzinie statystyki chętnie dzielę się swoją wiedzą, aby wzmocnić pozycję uczniów za pośrednictwem Statorials. Wiedzieć więcej