Regressione lineare

Di Benjamin anderson Agosto 2, 2023 Statistiche 0 commenti

Questo articolo spiega cos’è la regressione lineare e a cosa serve nelle statistiche. Inoltre, sarai in grado di vedere come vengono calcolati i due tipi di regressione lineare: regressione lineare semplice e regressione lineare multipla.

Cos’è la regressione lineare?

La regressione lineare è un modello statistico che mette in relazione una o più variabili indipendenti con una variabile dipendente. In poche parole, la regressione lineare è una tecnica utilizzata per trovare un’equazione che approssima la relazione tra una o più variabili esplicative e una variabile di risposta.

Ad esempio, l’equazione y=2+5x ₁ -3x ₂ +8x ₃ è un modello di regressione lineare perché mette in relazione matematicamente tre variabili indipendenti (x ₁ , x ₂ , x ₃ ) con una variabile dipendente (y) e, inoltre, la relazione tra le variabili è lineare.

Tipi di regressione lineare

Esistono due tipi di regressione lineare :

Regressione lineare semplice : una singola variabile indipendente è collegata a una variabile dipendente. L’equazione per questo tipo di modello di regressione lineare è quindi della forma y=β ₀ +β ₁ x ₁ .
Regressione lineare multipla : il modello di regressione ha diverse variabili esplicative e una variabile di risposta. Pertanto, l’equazione per questo tipo di modello di regressione lineare è della forma y=β ₀ +β ₁ x ₁ +β ₂ x ₂ …+β _m x _m .

regressione lineare semplice

La regressione lineare semplice viene utilizzata per mettere in relazione una variabile indipendente con entrambe le variabili.

L’equazione di un modello di regressione lineare semplice è una retta, è quindi composta da due coefficienti: la costante dell’equazione (β ₀ ) e il coefficiente di correlazione tra le due variabili (β ₁ ). Pertanto, l’equazione per un modello di regressione lineare semplice è y=β ₀ +β ₁ x.

$y=\beta_0+\beta_1x$

Le formule per il calcolo dei coefficienti di regressione lineare semplice sono le seguenti:

$\begin{array}{c}\beta_1=\cfrac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})(y_i-\overline{y})}{\displaystyle \sum_{i=1}^n (x_i-\overline{x})^2}\\[12ex]\beta_0=\overline{y}-\beta_1\overline{x}\end{array}$

Oro:

$\beta_0$

è la costante della retta di regressione.
$\beta_1$

è la pendenza della retta di regressione.
$x_i$

è il valore della variabile indipendente X dei dati i.
$y_i$

è il valore della variabile dipendente Y dei dati i.
$\overline{x}$

è la media dei valori della variabile indipendente
$\overline{y}$

è la media dei valori della variabile dipendente Y.

➤ Vedi: Esempio concreto di regressione lineare semplice

Regressione lineare multipla

In un modello di regressione lineare multipla sono incluse almeno due variabili indipendenti. In altre parole, la regressione lineare multipla consente di collegare linearmente diverse variabili esplicative a una variabile di risposta.

L’equazione per un modello di regressione lineare multipla è y=β ₀ +β ₁ x ₁ +β ₂ x ₂ +…+β _m x _m +ε.

$y=\beta_0+\beta_1 x_1+\beta_2 x_2+\dots+\beta_m x_m+\varepsilon$

Oro:

$y$

è la variabile dipendente.
$x_i$

è la variabile indipendente i.
$\beta_0$

è la costante dell’equazione di regressione lineare multipla.
$\beta_i$

è il coefficiente di regressione associato alla variabile

$x_i$

.
$\bm{\varepsilon}$

è l’errore o residuo, cioè la differenza tra il valore osservato e il valore stimato dal modello.
$m$

è il numero totale di variabili nel modello.

Quindi, se abbiamo un campione con un totale di

$n$

osservazioni, possiamo porre il modello di regressione lineare multipla in forma matriciale:

$\begin{pmatrix}y_1\\y_2\\\vdots\\y_n\end{pmatrix}=\begin{pmatrix}1&x_{11}&\dots&x_{1m}\\1&x_{21}&\dots&x_{2m}\\ \vdots&\vdots&\ddots&\vdots\\1&x_{n1}&\dots&x_{nm}\end{pmatrix}\cdot\begin{pmatrix}\beta_0\\\beta_1\\\vdots\\\beta_m\end{pmatrix}+\begin{pmatrix}\varepsilon_1\\\varepsilon_2\\\vdots\\\varepsilon_n\end{pmatrix}$

L’espressione della matrice sopra può essere riscritta assegnando una lettera a ciascuna matrice:

$Y=X\beta+\varepsilon$

Pertanto, applicando il criterio dei minimi quadrati, possiamo arrivare alla formula per stimare i coefficienti di un modello di regressione lineare multipla :

$\widehat{\beta}=\left(X^tX\right)^{-1}X^tY$

Tuttavia, l’applicazione di questa formula è molto laboriosa e richiede molto tempo, motivo per cui in pratica è consigliabile utilizzare un software per computer (come Minitab o Excel) che consente di creare un modello di regressione multipla molto più rapidamente.

➤ Vedi: Interpretazione di un modello di regressione lineare multipla

Ipotesi di regressione lineare

In un modello di regressione lineare, affinché il modello sia valido, devono essere soddisfatte le seguenti condizioni:

Indipendenza : i residui devono essere indipendenti l’uno dall’altro. Un modo comune per garantire l’indipendenza del modello è aggiungere casualità al processo di campionamento.
Omoschedasticità : deve esserci omogeneità nelle varianze dei residui, cioè la variabilità dei residui deve essere costante.
Non multicollinearità : le variabili esplicative incluse nel modello non possono essere collegate tra loro o, almeno, la loro relazione deve essere molto debole.
Normalità : i residui devono essere distribuiti normalmente, o in altre parole devono seguire una distribuzione normale con media 0.
Linearità : si presuppone che la relazione tra la variabile di risposta e le variabili esplicative sia lineare.

A cosa serve la regressione lineare?

La regressione lineare ha fondamentalmente due usi: la regressione lineare viene utilizzata per spiegare la relazione tra le variabili esplicative e la variabile di risposta e, analogamente, la regressione lineare viene utilizzata per prevedere il valore della variabile dipendente per una nuova osservazione.

Ottenendo l’equazione del modello di regressione lineare, possiamo sapere che tipo di relazione esiste tra le variabili nel modello. Se il coefficiente di regressione di una variabile indipendente è positivo, la variabile dipendente aumenterà quando aumenta. mentre se il coefficiente di regressione di una variabile indipendente è negativo, la variabile dipendente diminuirà quando aumenta.

D’altro canto, l’equazione calcolata nella regressione lineare consente anche di effettuare previsioni di valore. Pertanto, introducendo i valori delle variabili esplicative nell’equazione del modello, possiamo calcolare il valore della variabile dipendente per un nuovo dato.

Informazioni sull'autore

Benjamin anderson

Ciao, sono Benjamin, un professore di statistica in pensione diventato insegnante dedicato di Statorials. Con una vasta esperienza e competenza nel campo della statistica, sono ansioso di condividere le mie conoscenze per potenziare gli studenti attraverso Statorials. Scopri di più