Quadrati inferiori

Di Benjamin anderson Agosto 2, 2023 Statistiche 0 commenti

Questo articolo spiega cosa sono i minimi quadrati nelle statistiche, cos’è il metodo dei minimi quadrati e come un modello di regressione viene adattato secondo il criterio dei minimi quadrati.

Qual è il metodo dei minimi quadrati?

Il metodo dei minimi quadrati è un metodo statistico utilizzato per determinare l’equazione di una regressione. In altre parole, il metodo dei minimi quadrati è un criterio utilizzato in un modello di regressione per ridurre al minimo l’errore ottenuto nel calcolo dell’equazione di regressione.

Concretamente, il metodo dei minimi quadrati consiste nel minimizzare la somma dei quadrati dei residui, o in altre parole si basa nel minimizzare la somma dei quadrati delle differenze tra i valori previsti dal modello di regressione e i valori osservati . . Di seguito vedremo in dettaglio come un modello di regressione viene adattato secondo il criterio dei minimi quadrati.

La caratteristica principale del metodo dei minimi quadrati è che le distanze maggiori tra i valori osservati e la funzione di regressione sono ridotte al minimo. A differenza di altri criteri di regressione, il metodo dei minimi quadrati considera più importante minimizzare i residui grandi rispetto a quelli piccoli, poiché il quadrato di un numero grande è molto più grande del quadrato di uno piccolo. numero.

Errore di stima

Per comprendere appieno il concetto di minimi quadrati, dobbiamo prima essere chiari su cosa sono i residui in un modello di regressione. Vedremo quindi di seguito cos’è un errore di stima e come viene calcolato.

In statistica, l’ errore di stima , chiamato anche residuo , è la differenza tra il valore reale e il valore adattato dal modello di regressione. Un residuo statistico viene quindi calcolato come segue:

$e_i=y_i-\widehat{y}_i$

Oro:

$e_i$

è il residuo dei dati i.
$y_i$

è il valore reale dei dati i.
$\widehat{y}_i$

è il valore fornito dal modello di regressione per i dati i.

Pertanto, quanto più grande è il residuo di un dato, tanto meno il modello di regressione si adatta a quel dato. Pertanto, quanto più piccolo è un residuo, tanto minore è la distanza tra il suo valore effettivo e il suo valore previsto.

Allo stesso modo, se il residuo di un dato è positivo, significa che il modello di regressione prevede un valore inferiore al valore reale. mentre se il residuo è negativo significa che il valore previsto è maggiore del valore effettivo.

Ridurre al minimo i quadrati di errore

Ora che sappiamo cos’è un residuo in statistica, sarà più facile capire come vengono minimizzati i quadrati di errore.

Il quadrato di un errore è il quadrato di un residuo, quindi il quadrato di un errore è uguale alla differenza tra il valore vero e il valore adattato dal modello di regressione elevato alla potenza di due.

$e_i^2=(y_i-\widehat{y}_i)^2$

Oro:

$e_i^2$

è il quadrato del residuo dei dati i.
$y_i$

è il valore reale dei dati i.
$\widehat{y}_i$

è il valore fornito dal modello di regressione per i dati i.

Pertanto, il metodo dei minimi quadrati consiste nel creare un modello di regressione minimizzando la somma dei quadrati degli errori . Il criterio dei minimi quadrati si basa quindi sulla minimizzazione della seguente espressione:

$\begin{array}{l} [MIN] \ \displaystyle \sum_{i=1}^ne_i^2\\[4ex][MIN] \ \displaystyle \sum_{i=1}^n(y_i-\widehat{y}_i)^2\end{array}$

Questo è il motivo per cui il criterio dei minimi quadrati è anche chiamato criterio dei minimi quadrati.

Come puoi vedere nella formula precedente, il criterio dei minimi quadrati attribuisce più importanza alla minimizzazione dei residui grandi rispetto a quelli piccoli. Ad esempio, se un residuo è 3 e un altro residuo è 5, i loro quadrati sono rispettivamente 9 e 25, quindi il criterio dei minimi quadrati darà priorità alla minimizzazione del secondo residuo prima del primo residuo.

Aggiustamento dei minimi quadrati

L’adattamento di un modello di regressione utilizzando il criterio dei minimi quadrati consiste nel trovare un modello di regressione che minimizzi i quadrati dei residui. Pertanto, l’equazione ottenuta dal modello di regressione sarà quella i cui quadrati delle differenze tra i valori osservati e i valori adattati sono minimi.

Si noti nell’esempio seguente che esistono più criteri per la creazione di un modello di regressione e, a seconda del criterio scelto, l’equazione di regressione è diversa.

metodo dei minimi quadrati, correzione dei minimi quadrati

Come puoi vedere negli esempi precedenti, la linea ottenuta dal modello di regressione lineare per lo stesso set di dati dipende dal criterio scelto. Generalmente, nei modelli di regressione viene utilizzato il criterio dei minimi quadrati.

In statistica, il modello di regressione più utilizzato è il modello di regressione lineare semplice, che consiste nell’approssimare la relazione tra la variabile indipendente X e la variabile dipendente Y utilizzando una linea retta.

$y=b_0+b_1x$

Pertanto, le formule per adattare un set di dati a un modello di regressione lineare semplice sono:

$b_1=\cfrac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})(y_i-\overline{y})}{\displaystyle \sum_{i=1}^n (x_i-\overline{x})^2}$

$b_0=\overline{y}-b_1\overline{x}$

Puoi vedere un esempio di come viene calcolato un modello di regressione lineare semplice utilizzando il criterio dei minimi quadrati facendo clic sul seguente collegamento:

➤ Vedi: Esempio di regressione lineare semplice

Informazioni sull'autore

Benjamin anderson

Ciao, sono Benjamin, un professore di statistica in pensione diventato insegnante dedicato di Statorials. Con una vasta esperienza e competenza nel campo della statistica, sono ansioso di condividere le mie conoscenze per potenziare gli studenti attraverso Statorials. Scopri di più