Zrozumienie hipotezy zerowej dla regresji liniowej

Regresja liniowa to technika, którą możemy zastosować do zrozumienia związku pomiędzy jedną lub większą liczbą zmiennych predykcyjnych azmienną odpowiedzi .

Jeśli mamy tylko jedną zmienną predykcyjną i jedną zmienną odpowiedzi, możemy zastosować prostą regresję liniową , która wykorzystuje następujący wzór do oszacowania związku między zmiennymi:

ŷ = β ₀ + β ₁ x

Złoto:

• ŷ: Szacowana wartość odpowiedzi.
• β ₀ : Średnia wartość y, gdy x wynosi zero.
• β ₁ : Średnia zmiana y związana ze wzrostem x o jedną jednostkę.
• x: wartość zmiennej predykcyjnej.

Prosta regresja liniowa wykorzystuje następujące hipotezy zerowe i alternatywne:

• H ₀ : β ₁ = 0
• H _A : β ₁ ≠ 0

Hipoteza zerowa stwierdza, że współczynnik β ₁ jest równy zero. Innymi słowy, nie ma statystycznie istotnego związku między zmienną predykcyjną x a zmienną odpowiedzi y.

Hipoteza alternatywna stwierdza, że β ₁ nie jest równe zero. Innymi słowy, istnieje statystycznie istotna zależność pomiędzy x i y.

Jeśli mamy wiele zmiennych predykcyjnych i zmienną odpowiedzi, możemy zastosować wielokrotną regresję liniową , która wykorzystuje następujący wzór do oszacowania związku między zmiennymi:

ŷ = β ₀ + β ₁ x ₁ + β ₂ x ₂ + … + β _k x _k

Złoto:

• ŷ: Szacowana wartość odpowiedzi.
• β ₀ : Średnia wartość y, gdy wszystkie zmienne predykcyjne są równe zero.
• β _i : Średnia zmiana y związana ze wzrostem o jedną jednostkę x _i .
• x _i : Wartość zmiennej predykcyjnej x _i .

Wielokrotna regresja liniowa wykorzystuje następujące hipotezy zerowe i alternatywne:

• H ₀ : β ₁ = β ₂ = … = β _k = 0
• H _ZA : β ₁ = β ₂ = … = β _k ≠ 0

Hipoteza zerowa zakłada, że wszystkie współczynniki w modelu są równe zeru. Innymi słowy, żadna ze zmiennych predykcyjnych nie ma statystycznie istotnego związku ze zmienną odpowiedzi y.

Hipoteza alternatywna głosi, że nie wszystkie współczynniki są jednocześnie równe zeru.

Poniższe przykłady pokazują, jak podjąć decyzję o odrzuceniu lub nie odrzuceniu hipotezy zerowej w modelach prostej regresji liniowej i wielokrotnej regresji liniowej.

Przykład 1: Prosta regresja liniowa

Załóżmy, że profesor chce wykorzystać liczbę przepracowanych godzin do przewidzenia oceny z egzaminu, jaką uzyskają uczniowie jego klasy. Zbiera dane od 20 uczniów i dopasowuje prosty model regresji liniowej.

Poniższy zrzut ekranu przedstawia wynik modelu regresji:

Dopasowany prosty model regresji liniowej to:

Wynik egzaminu = 67,1617 + 5,2503*(godziny nauki)

Aby określić, czy istnieje statystycznie istotny związek między przestudiowanymi godzinami a wynikiem egzaminu, musimy przeanalizować ogólną wartość F modelu i odpowiadającą jej wartość p:

• Ogólna wartość F: 47,9952
• Wartość P: 0,000

Ponieważ ta wartość p jest mniejsza niż 0,05, możemy odrzucić hipotezę zerową. Innymi słowy, istnieje statystycznie istotny związek pomiędzy przestudiowanymi godzinami a wynikami egzaminów.

Przykład 2: Wielokrotna regresja liniowa

Załóżmy, że profesor chce wykorzystać liczbę przepracowanych godzin i liczbę zdanych egzaminów przygotowawczych, aby przewidzieć, jakie oceny uzyskają uczniowie na jego zajęciach. Gromadzi dane od 20 uczniów i dopasowuje model wielokrotnej regresji liniowej.

Poniższy zrzut ekranu przedstawia wynik modelu regresji:

Dopasowany model regresji liniowej to:

Wynik egzaminu = 67,67 + 5,56*(godziny nauki) – 0,60*(zdane egzaminy przygotowawcze)

Aby określić, czy istnieje statystycznie istotna zależność pomiędzy dwiema zmiennymi predykcyjnymi a zmienną odpowiedzi, musimy przeanalizować ogólną wartość F modelu i odpowiadającą jej wartość p:

• Ogólna wartość F: 23,46
• Wartość P: 0,00

Ponieważ ta wartość p jest mniejsza niż 0,05, możemy odrzucić hipotezę zerową. Inaczej mówiąc, liczba przepracowanych godzin i zdanych egzaminów przygotowawczych ma statystycznie istotny związek z wynikami egzaminów.

Uwaga: Choć wartość p dla zdanych egzaminów przygotowawczych (p = 0,52) nie jest istotna, to jednak egzaminy przygotowawcze w połączeniu z przepracowanymi godzinami mają istotny związek z wynikami egzaminów.

Dodatkowe zasoby

Zrozumienie testu F dla ogólnego znaczenia w regresji
Jak czytać i interpretować tabelę regresji
Jak raportować wyniki regresji
Jak wykonać prostą regresję liniową w programie Excel
Jak wykonać wielokrotną regresję liniową w programie Excel