多項式回帰

によるベンジャミン・アンダーソン博士 8月 2, 2023 統計 0コメント

この記事では、統計における多項式回帰とは何か、およびそれがどのように実行されるかについて説明します。さらに、多項式回帰が実行される例も確認できます。

多項式回帰とは何ですか?

多項式回帰、または多項式回帰は、独立変数 X と従属変数 Y の間の関係が多項式を使用してモデル化される回帰モデルです。

たとえば、2 次多項式回帰モデルの方程式は、y=β ₀ +β ₁ x+β ₂ x ² +ε です。

多項式回帰は、グラフが多項式曲線であるデータセットを近似するのに役立ちます。したがって、データサンプルのドットプロットが放物線の形状をしている場合は、線形回帰モデルよりも二次回帰モデルを構築する方が適切です。こうすることで、回帰モデルの方程式がデータサンプルによりよく適合します。

多項式回帰は、指数回帰や対数回帰と同様、非線形回帰の一種であることに注意してください。

多項式回帰式

多項式回帰モデルの方程式は、y=β ₀ +β ₁ x+β ₂ x ² +β ₃ x ³ …+β _m x ^m +ε です。

$y=\beta_0+\beta_1 x+\beta_2 x^2+\beta_3 x^3+\dots+\beta_m x^m+\varepsilon$

金：

$y$

は従属変数です。
$x$

は独立変数です。
$\beta_0$

は多項式回帰式の定数です。
$\beta_i$

変数に関連付けられた回帰係数です

$x^i$

。
$\bm{\varepsilon}$

これは誤差または残差、つまり観測値とモデルによって推定された値の差です。

したがって、合計が含まれるサンプルがある場合、

$n$

観察結果を基に、行列形式の多項式回帰モデルを提案できます。

$\begin{pmatrix}y_1\\y_2\\y_3\\\vdots\\y_n\end{pmatrix}=\begin{pmatrix}1&x_1&x_1^2&\dots&x_1^m\\1&x_2&x_2^2&\dots&x_2^m\\1&x_3&x_3^2&\dots&x_3^m\\ \vdots&\vdots&\ddots&\vdots\\1&x_{n}&x_n^2&\dots&x_n^m\end{pmatrix}\cdot\begin{pmatrix}\beta_0\\\beta_1\\\beta_2\\\vdots\\\beta_m\end{pmatrix}+\begin{pmatrix}\varepsilon_1\\\varepsilon_2\\\varepsilon_3\\\vdots\\\varepsilon_n\end{pmatrix}$

上記の行列式は、各行列に文字を割り当てることで書き換えることができます。

$Y=X\beta+\varepsilon$

したがって、最小二乗基準を適用すると、多項式回帰モデルの係数を推定するための式に到達できます。

$\widehat{\beta}=\left(X^tX\right)^{-1}X^tY$

ただし、これらの計算を手作業で行うのは非常に面倒で時間がかかるため、多項式回帰モデルをより高速に実行できるコンピューターソフトウェア (Minitab や Excel など) を使用する方が便利です。

多項式回帰モデルの例

多項式回帰の定義とその実行方法がわかったので、概念を完全に理解するために実際の例を見てみましょう。

まず、データグラフが多項式曲線の形状をしている場合、多項式回帰モデルを実行する必要があることに留意する必要があります。たとえば、ドットプロットが 3 次曲線の形式である場合、3 次多項式回帰モデルを構築する必要があります。

したがって、次の画像に見られるように、独立変数の値が増加すると従属変数の増加が速くなるため、データのドットプロットは二次形状になります。この場合、線形回帰モデルが実行されましたが、見てわかるように、線がすべての点の下にあるセクションと線がすべての点の上にあるセクションがあるため、点がうまく適合しません。

一方、2次多項式回帰モデルを実行すると、以下の画像でわかるように、サンプルデータによりよく適合します。

さらに、多項式回帰モデルを作成すると、決定係数が 86.80% から 94.05% に向上し、大幅に向上します。したがって、新しい回帰モデルはデータセットをより適切に説明します。

一方、多項式回帰を実行する必要があることを示すもう 1 つの兆候は、残差のプロットです。線形回帰で残差のグラフが放物線または別のタイプの多項式の形状をしている場合、多項式回帰モデルは調査されたデータにより確実に適合します。

他のタイプの非線形回帰

非線形回帰には主に 3 つのタイプがあります。

多項式回帰– 回帰モデルの方程式は多項式の形式です。
対数回帰: 独立変数の対数が取得されます。
指数回帰: 独立変数は方程式の指数で見つかります。

➤参照:対数回帰
➤参照:指数回帰

著者について

ベンジャミン・アンダーソン博士

私はベンジャミンです。退職した統計教授から、専任の Statorials 教育者になりました。統計分野における豊富な経験と専門知識を活かして、私は Statorials を通じて学生に力を与えるために自分の知識を共有することに尽力しています。もっと知る