Lineare regression

Von Dr. Benjamin Anderson August 2, 2023 Statistiken Keine Kommentare

In diesem Artikel wird erklärt, was lineare Regression ist und wofür sie in der Statistik verwendet wird. Darüber hinaus können Sie sehen, wie die beiden Arten der linearen Regression berechnet werden: einfache lineare Regression und multiple lineare Regression.

Was ist lineare Regression?

Die lineare Regression ist ein statistisches Modell, das eine oder mehrere unabhängige Variablen mit einer abhängigen Variablen in Beziehung setzt. Einfach ausgedrückt ist die lineare Regression eine Technik, mit der eine Gleichung gefunden wird, die die Beziehung zwischen einer oder mehreren erklärenden Variablen und einer Antwortvariablen annähert.

Beispielsweise ist die Gleichung y=2+5x ₁ -3x ₂ +8x ₃ ein lineares Regressionsmodell, da sie drei unabhängige Variablen (x ₁ , x ₂ , x ₃ ) mathematisch mit einer abhängigen Variablen (y) in Beziehung setzt und darüber hinaus die Beziehung zwischen den Variablen ist linear.

Arten der linearen Regression

Es gibt zwei Arten der linearen Regression :

Einfache lineare Regression : Eine einzelne unabhängige Variable wird mit einer abhängigen Variablen verknüpft. Die Gleichung für diese Art von linearem Regressionsmodell hat daher die Form y=β ₀ +β ₁ x ₁ .
Multiple lineare Regression : Das Regressionsmodell verfügt über mehrere erklärende Variablen und eine Antwortvariable. Daher hat die Gleichung für diese Art von linearem Regressionsmodell die Form y=β ₀ +β ₁ x ₁ +β ₂ x ₂ …+β _m x _m .

einfache lineare Regression

Eine einfache lineare Regression wird verwendet, um eine unabhängige Variable mit beiden Variablen in Beziehung zu setzen.

Die Gleichung eines einfachen linearen Regressionsmodells ist eine Gerade und besteht daher aus zwei Koeffizienten: der Konstante der Gleichung (β ₀ ) und dem Korrelationskoeffizienten zwischen den beiden Variablen (β ₁ ). Daher lautet die Gleichung für ein einfaches lineares Regressionsmodell y=β ₀ +β ₁ x.

$y=\beta_0+\beta_1x$

Die Formeln zur Berechnung einfacher linearer Regressionskoeffizienten lauten wie folgt:

$\begin{array}{c}\beta_1=\cfrac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})(y_i-\overline{y})}{\displaystyle \sum_{i=1}^n (x_i-\overline{x})^2}\\[12ex]\beta_0=\overline{y}-\beta_1\overline{x}\end{array}$

Gold:

$\beta_0$

ist die Konstante der Regressionsgeraden.
$\beta_1$

ist die Steigung der Regressionsgeraden.
$x_i$

ist der Wert der unabhängigen Variablen X der Daten i.
$y_i$

ist der Wert der abhängigen Variablen Y der Daten i.
$\overline{x}$

ist der Durchschnitt der Werte der unabhängigen Variablen
$\overline{y}$

ist der Durchschnitt der Werte der abhängigen Variablen Y.

➤ Siehe: Konkretes Beispiel einer einfachen linearen Regression

Multiple lineare Regression

In einem multiplen linearen Regressionsmodell sind mindestens zwei unabhängige Variablen enthalten. Mit anderen Worten ermöglicht die multiple lineare Regression die lineare Verknüpfung mehrerer erklärender Variablen mit einer Antwortvariablen.

Die Gleichung für ein multiples lineares Regressionsmodell lautet y=β ₀ +β ₁ x ₁ +β ₂ x ₂ +…+β _m x _m +ε.

$y=\beta_0+\beta_1 x_1+\beta_2 x_2+\dots+\beta_m x_m+\varepsilon$

Gold:

$y$

ist die abhängige Variable.
$x_i$

ist die unabhängige Variable i.
$\beta_0$

ist die Konstante der multiplen linearen Regressionsgleichung.
$\beta_i$

ist der mit der Variablen verbundene Regressionskoeffizient

$x_i$

.
$\bm{\varepsilon}$

ist der Fehler oder das Residuum, also die Differenz zwischen dem beobachteten Wert und dem vom Modell geschätzten Wert.
$m$

ist die Gesamtzahl der Variablen im Modell.

Wenn wir also eine Stichprobe mit insgesamt haben

$n$

Beobachtungen können wir das multiple lineare Regressionsmodell in Matrixform darstellen:

$\begin{pmatrix}y_1\\y_2\\\vdots\\y_n\end{pmatrix}=\begin{pmatrix}1&x_{11}&\dots&x_{1m}\\1&x_{21}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\1&x_{n1}&\dots&x_{nm}\end{pmatrix}\cdot\begin{pmatrix}\beta_0\\\beta_1\\\vdots\\\beta_m\end{pmatrix}+\begin{pmatrix}\varepsilon_1\\\varepsilon_2\\\vdots\\\varepsilon_n\end{pmatrix}$

Der obige Matrixausdruck kann umgeschrieben werden, indem jeder Matrix ein Buchstabe zugewiesen wird:

$Y=X\beta+\varepsilon$

Durch Anwendung des Kriteriums der kleinsten Quadrate können wir also zu der Formel zur Schätzung der Koeffizienten eines multiplen linearen Regressionsmodells gelangen:

$\widehat{\beta}=\left(X^tX\right)^{-1}X^tY$

Allerdings ist die Anwendung dieser Formel sehr mühsam und zeitaufwändig, weshalb in der Praxis die Verwendung von Computersoftware (wie Minitab oder Excel) empfohlen wird, mit der sich ein multiples Regressionsmodell wesentlich schneller erstellen lässt.

➤ Siehe: Interpretation eines multiplen linearen Regressionsmodells

Annahmen zur linearen Regression

In einem linearen Regressionsmodell müssen die folgenden Bedingungen erfüllt sein, damit das Modell gültig ist:

Unabhängigkeit : Die Residuen müssen unabhängig voneinander sein. Eine gängige Methode zur Sicherstellung der Modellunabhängigkeit besteht darin, dem Stichprobenverfahren Zufälligkeit hinzuzufügen.
Homoskedastizität : Die Varianzen der Residuen müssen homogen sein, d. h. die Variabilität der Residuen muss konstant sein.
Nicht-Multikollinearität : Die im Modell enthaltenen erklärenden Variablen können nicht miteinander verknüpft werden oder ihre Beziehung muss zumindest sehr schwach sein.
Normalität : Die Residuen müssen normalverteilt sein, d. h. sie müssen einer Normalverteilung mit einem Mittelwert von 0 folgen.
Linearität : Es wird angenommen, dass die Beziehung zwischen der Antwortvariablen und den erklärenden Variablen linear ist.

Wozu dient die lineare Regression?

Die lineare Regression hat grundsätzlich zwei Verwendungszwecke: Die lineare Regression wird verwendet, um die Beziehung zwischen den erklärenden Variablen und der Antwortvariablen zu erklären, und in ähnlicher Weise wird die lineare Regression verwendet, um den Wert der abhängigen Variablen für eine neue Beobachtung vorherzusagen.

Indem wir die Gleichung des linearen Regressionsmodells erhalten, können wir wissen, welche Art von Beziehung zwischen den Variablen im Modell besteht. Wenn der Regressionskoeffizient einer unabhängigen Variablen positiv ist, nimmt die abhängige Variable zu, wenn sie zunimmt. Wenn hingegen der Regressionskoeffizient einer unabhängigen Variablen negativ ist, nimmt die abhängige Variable ab, wenn sie zunimmt.

Andererseits erlaubt die in der linearen Regression berechnete Gleichung auch Wertvorhersagen. Indem wir also die Werte der erklärenden Variablen in die Modellgleichung einführen, können wir den Wert der abhängigen Variablen für ein neues Datenelement berechnen.

Über den Autor

Dr. Benjamin Anderson

Hallo, ich bin Benjamin, ein pensionierter Statistikprofessor, der sich zum engagierten Statorials-Lehrer entwickelt hat. Mit umfassender Erfahrung und Fachwissen auf dem Gebiet der Statistik bin ich bestrebt, mein Wissen zu teilen, um Studenten durch Statorials zu befähigen. Mehr wissen