다항식 회귀

에 의해 벤자민 앤더슨 8월 2, 2023 통계 댓글 0개

이 문서에서는 통계의 다항식 회귀가 무엇인지, 그리고 어떻게 수행되는지 설명합니다. 또한 다항식 회귀가 수행되는 예제를 볼 수 있습니다.

다항식 회귀란 무엇입니까?

다항식 회귀(Polynomial Regression ) 또는 다항식 회귀(Polynomial Regression )는 독립 변수 X와 종속 변수 Y 간의 관계를 다항식을 사용하여 모델링하는 회귀 모델입니다.

예를 들어, 2차 다항식 회귀 모델의 방정식은 y=β ₀ +β ₁ x+β ₂ x ² +ε입니다.

다항식 회귀는 그래프가 다항식 곡선인 데이터 세트를 피팅하는 데 유용합니다. 따라서 데이터 샘플의 도트 플롯이 포물선 형태인 경우 선형 회귀 모델보다는 2차 회귀 모델을 구성하는 것이 더 좋습니다. 이렇게 하면 회귀 모델 방정식이 데이터 샘플에 더 잘 맞습니다.

다항식 회귀는 지수 회귀 및 로그 회귀와 마찬가지로 일종의 비선형 회귀입니다.

다항식 회귀 공식

다항식 회귀 모델의 방정식은 y=β ₀ +β ₁ x+β ₂ x ² +β ₃ x ³ …+β _m x ^m +ε입니다.

$y=\beta_0+\beta_1 x+\beta_2 x^2+\beta_3 x^3+\dots+\beta_m x^m+\varepsilon$

금:

$y$

종속변수입니다.
$x$

독립변수이다.
$\beta_0$

다항식 회귀 방정식의 상수입니다.
$\beta_i$

변수와 관련된 회귀 계수입니다.

$x^i$

.
$\bm{\varepsilon}$

이는 오류 또는 잔차, 즉 관찰된 값과 모델에 의해 추정된 값 간의 차이입니다.

따라서 총 샘플이 있는 경우

$n$

관찰을 통해 행렬 형식의 다항식 회귀 모델을 제안할 수 있습니다.

$\begin{pmatrix}y_1\\y_2\\y_3\\\vdots\\y_n\end{pmatrix}=\begin{pmatrix}1&x_1&x_1^2&\dots&x_1^m\\1&x_2&x_2^2&\dots&x_2^m\\1&x_3&x_3^2&\dots&x_3^m\\ \vdots&\vdots&\ddots&\vdots\\1&x_{n}&x_n^2&\dots&x_n^m\end{pmatrix}\cdot\begin{pmatrix}\beta_0\\\beta_1\\\beta_2\\\vdots\\\beta_m\end{pmatrix}+\begin{pmatrix}\varepsilon_1\\\varepsilon_2\\\varepsilon_3\\\vdots\\\varepsilon_n\end{pmatrix}$

위의 행렬 표현식은 각 행렬에 문자를 할당하여 다시 작성할 수 있습니다.

$Y=X\beta+\varepsilon$

따라서 최소 제곱 기준을 적용하면 다항식 회귀 모델의 계수를 추정하는 공식 에 도달할 수 있습니다.

$\widehat{\beta}=\left(X^tX\right)^{-1}X^tY$

그러나 이러한 계산을 직접 수행하는 것은 매우 힘들고 시간이 많이 걸리므로 다항식 회귀 모델을 훨씬 빠르게 수행할 수 있는 컴퓨터 소프트웨어(Minitab 또는 Excel 등)를 사용하는 것이 더 편리합니다.

다항식 회귀 모델의 예

이제 다항식 회귀의 정의와 수행 방법을 알았으니 개념을 완전히 이해하기 위해 실제 예를 살펴보겠습니다.

먼저, 다항식 회귀모델은 데이터 그래프가 다항식 곡선의 형태를 가질 때 수행되어야 한다는 점을 명심해야 한다. 예를 들어, 점도표가 3차 곡선 형태인 경우 3차 다항식 회귀 모델을 구성해야 합니다.

따라서 다음 이미지에서 볼 수 있듯이 데이터의 도트 플롯은 2차 형태를 갖습니다. 독립 변수의 값이 증가할수록 종속 변수가 더 빠르게 증가하기 때문입니다. 이 경우 선형 회귀 모델이 수행되었으며 보시다시피 선이 모든 점 아래에 있는 섹션과 선이 위에 있는 섹션이 있기 때문에 점에 잘 맞지 않습니다.

반면에 2차 다항식 회귀 모델을 실행하면 아래 이미지에서 볼 수 있듯이 샘플 데이터에 훨씬 더 잘 맞습니다.

또한, 다항회귀모델을 개발할 때 결정계수가 86.80%에서 94.05%로 증가하여 크게 향상되는 것을 확인하였다. 따라서 새로운 회귀 모델은 데이터 세트를 훨씬 더 잘 설명합니다.

반면에, 다항식 회귀를 수행해야 한다는 또 다른 표시는 잔차를 그리는 것입니다. 선형 회귀에서 잔차 그래프가 포물선이나 다른 유형의 다항식 모양을 갖는 경우 다항식 회귀 모델이 확실히 연구된 데이터에 더 잘 맞습니다.

다른 유형의 비선형 회귀

비선형 회귀에는 주로 세 가지 유형이 있습니다.

다항식 회귀 – 회귀 모델 방정식은 다항식 형태입니다.
로그 회귀 : 독립 변수의 로그가 사용됩니다.
지수 회귀 : 독립 변수는 방정식의 지수에서 발견됩니다.

➤ 참고: 로그 회귀
➤ 참고: 지수 회귀

저자 소개

벤자민 앤더슨

안녕하세요. 저는 통계학 교수를 퇴직하고 전임 통계 교사로 변신한 벤자민입니다. 통계 분야의 광범위한 경험과 전문 지식을 바탕으로 Statorials를 통해 학생들에게 힘을 실어주기 위해 지식을 공유하고 싶습니다. 더 알아보기