<\/p>\n
Regresja liniowa<\/strong> to metoda, kt\u00f3rej mo\u017cemy u\u017cy\u0107 do zrozumienia zwi\u0105zku mi\u0119dzy jedn\u0105 lub wi\u0119ksz\u0105 liczb\u0105 zmiennych predykcyjnych a zmienn\u0105 odpowiedzi.<\/span><\/p>\n W tym samouczku wyja\u015bniono, jak przeprowadzi\u0107 regresj\u0119 liniow\u0105 w j\u0119zyku Python.<\/span><\/p>\n Za\u0142\u00f3\u017cmy, \u017ce chcemy wiedzie\u0107, czy liczba godzin sp\u0119dzonych na nauce i liczba zdanych egzamin\u00f3w pr\u00f3bnych wp\u0142ywaj\u0105 na ocen\u0119, jak\u0105 student otrzymuje z danego egzaminu.<\/span><\/p>\n Aby zbada\u0107 t\u0119 relacj\u0119, mo\u017cemy wykona\u0107 nast\u0119puj\u0105ce kroki w Pythonie, aby przeprowadzi\u0107 wielokrotn\u0105 regresj\u0119 liniow\u0105.<\/span><\/p>\n Krok 1: Wprowad\u017a dane.<\/strong><\/span><\/p>\n Najpierw utworzymy ramk\u0119 DataFrame pandy do przechowywania naszego zestawu danych:<\/span><\/p>\n Krok 2: Wykonaj regresj\u0119 liniow\u0105.<\/strong><\/span><\/p>\n Nast\u0119pnie u\u017cyjemy funkcji OLS()<\/a> z biblioteki statsmodels do przeprowadzenia zwyk\u0142ej regresji metod\u0105 najmniejszych kwadrat\u00f3w, u\u017cywaj\u0105c \u201egodzin\u201d i \u201eegzamin\u00f3w\u201d jako zmiennych predykcyjnych oraz \u201ewyniku\u201d jako zmiennej odpowiedzi:<\/span><\/p>\n Krok 3: Interpretacja wynik\u00f3w.<\/strong><\/span><\/p>\n Oto jak zinterpretowa\u0107 najbardziej odpowiednie liczby w wyniku:<\/span><\/p>\n R do kwadratu:<\/strong> 0,734<\/strong> . Nazywa si\u0119 to wsp\u00f3\u0142czynnikiem determinacji. Jest to proporcja wariancji zmiennej odpowiedzi, kt\u00f3r\u0105 mo\u017cna wyja\u015bni\u0107 za pomoc\u0105 zmiennych predykcyjnych. W tym przyk\u0142adzie 73,4% r\u00f3\u017cnic w wynikach egzamin\u00f3w mo\u017cna wyt\u0142umaczy\u0107 liczb\u0105 godzin nauki i liczb\u0105 zdanych egzamin\u00f3w przygotowawczych.<\/span><\/p>\n Statystyka F: 23,46<\/strong> . Jest to og\u00f3lna statystyka F modelu regresji.<\/span><\/p>\n Prawdopodobne (statystyka F): 1,29e-05.<\/strong> Jest to warto\u015b\u0107 p powi\u0105zana z og\u00f3ln\u0105 statystyk\u0105 F. To m\u00f3wi nam, czy model regresji jako ca\u0142o\u015b\u0107 jest statystycznie istotny, czy nie. Innymi s\u0142owy, m\u00f3wi nam, czy dwie zmienne predykcyjne \u0142\u0105cznie maj\u0105 statystycznie istotny zwi\u0105zek ze zmienn\u0105 odpowiedzi. W tym przypadku warto\u015b\u0107 p jest mniejsza ni\u017c 0,05, co wskazuje, \u017ce zmienne predykcyjne \u201egodziny nauki\u201d i \u201ezdane egzaminy przygotowawcze\u201d \u0142\u0105cznie maj\u0105 statystycznie istotny zwi\u0105zek z wynikiem egzaminu.<\/span><\/p>\n coef:<\/strong> Wsp\u00f3\u0142czynniki ka\u017cdej zmiennej predykcyjnej m\u00f3wi\u0105 nam o oczekiwanej \u015bredniej zmianie zmiennej odpowiedzi, przy za\u0142o\u017ceniu, \u017ce druga zmienna predykcyjna pozostaje sta\u0142a. Na przyk\u0142ad za ka\u017cd\u0105 dodatkow\u0105 godzin\u0119 sp\u0119dzon\u0105 na nauce \u015bredni wynik egzaminu powinien wzrosn\u0105\u0107 o 5,56<\/strong> , przy za\u0142o\u017ceniu, \u017ce liczba zdanych egzamin\u00f3w praktycznych pozostanie sta\u0142a.<\/span><\/p>\n Sp\u00f3jrzmy na to z innego punktu widzenia: je\u015bli Student A i Student B zdaj\u0105 t\u0119 sam\u0105 liczb\u0119 egzamin\u00f3w przygotowawczych, ale Student A uczy si\u0119 o godzin\u0119 d\u0142u\u017cej, w\u00f3wczas Student A powinien uzyska\u0107 o 5,56<\/strong> punktu wi\u0119cej ni\u017c ucze\u0144 B.<\/span><\/p>\n Interpretujemy wsp\u00f3\u0142czynnik przechwytywania w ten spos\u00f3b, \u017ce oczekiwany wynik egzaminu dla studenta, kt\u00f3ry nie studiuje i nie przyst\u0119puje do egzamin\u00f3w przygotowawczych, wynosi 67,67<\/strong> .<\/span><\/p>\n P>|t|.<\/strong> Poszczeg\u00f3lne warto\u015bci p m\u00f3wi\u0105 nam, czy ka\u017cda zmienna predykcyjna jest istotna statystycznie, czy nie. Widzimy, \u017ce \u201egodziny\u201d s\u0105 istotne statystycznie (p = 0,00), natomiast \u201eegzaminy\u201d <\/strong> (p = 0,52) nie jest istotna statystycznie przy \u03b1 = 0,05. Poniewa\u017c termin \u201eegzaminy\u201d nie jest istotny statystycznie, mo\u017ce si\u0119 okaza\u0107, \u017ce zdecydujemy si\u0119 na usuni\u0119cie go z modelu.<\/span><\/p>\n Szacowane r\u00f3wnanie regresji:<\/strong> Mo\u017cemy u\u017cy\u0107 wsp\u00f3\u0142czynnik\u00f3w z wynik\u00f3w modelu, aby utworzy\u0107 nast\u0119puj\u0105ce szacunkowe r\u00f3wnanie regresji:<\/span><\/p>\n wynik egzaminu = 67,67 + 5,56*(godziny) \u2013 0,60*(egzaminy przygotowawcze)<\/strong><\/span><\/p>\n Mo\u017cemy u\u017cy\u0107 tego szacunkowego r\u00f3wnania regresji do obliczenia oczekiwanego wyniku egzaminu dla studenta na podstawie liczby godzin nauki i liczby egzamin\u00f3w praktycznych, kt\u00f3re zdaj\u0105. Przyk\u0142adowo, student studiuj\u0105cy trzy godziny i przyst\u0119puj\u0105cy do egzaminu przygotowawczego powinien otrzyma\u0107 ocen\u0119 83,75<\/strong> :<\/span><\/p>\n Nale\u017cy pami\u0119ta\u0107, \u017ce poniewa\u017c poprzednie badania przygotowawcze nie by\u0142y istotne statystycznie (p = 0,52), mo\u017cemy podj\u0105\u0107 decyzj\u0119 o ich usuni\u0119ciu, gdy\u017c nie wnosz\u0105 one \u017cadnej poprawy w stosunku do ca\u0142ego modelu. W tym przypadku mogliby\u015bmy przeprowadzi\u0107 prost\u0105 regresj\u0119 liniow\u0105, wykorzystuj\u0105c jedynie badane godziny jako zmienn\u0105 predykcyjn\u0105.<\/span><\/p>\n Krok 4: Zweryfikuj za\u0142o\u017cenia modelu.<\/strong><\/span><\/p>\n Po przeprowadzeniu regresji liniowej warto sprawdzi\u0107 kilka za\u0142o\u017ce\u0144, aby upewni\u0107 si\u0119, \u017ce wyniki modelu regresji s\u0105 wiarygodne. Za\u0142o\u017cenia te obejmuj\u0105:<\/span><\/p>\n Za\u0142o\u017cenie nr 1:<\/strong> Istnieje liniowa zale\u017cno\u015b\u0107 pomi\u0119dzy zmiennymi predykcyjnymi a zmienn\u0105 odpowiedzi.<\/span><\/p>\n Hipoteza nr 2:<\/strong> Niezale\u017cno\u015b\u0107 reszt.<\/span><\/p>\n Hipoteza nr 3:<\/strong> Homoscedastyczno\u015b\u0107 reszt.<\/span><\/p>\n Za\u0142o\u017cenie nr 4:<\/strong> Normalno\u015b\u0107 reszt.<\/span><\/p>\n Za\u0142o\u017cenie nr 5:<\/strong> Sprawd\u017a, czy nie ma wsp\u00f3\u0142liniowo\u015bci pomi\u0119dzy zmiennymi predykcyjnymi.<\/span><\/p>\n Przyk\u0142ad: regresja liniowa w Pythonie<\/strong><\/span><\/h3>\n
import<\/span> pandas as<\/span> pd\n\n#create data<\/span>\ndf = pd.DataFrame({'hours': [1, 2, 2, 4, 2, 1, 5, 4, 2, 4, 4, 3, 6, 5, 3, 4, 6, 2, 1, 2],\n 'exams': [1, 3, 3, 5, 2, 2, 1, 1, 0, 3, 4, 3, 2, 4, 4, 4, 5, 1, 0, 1],\n 'score': [76, 78, 85, 88, 72, 69, 94, 94, 88, 92, 90, 75, 96, 90, 82, 85, 99, 83, 62, 76]})\n\n#view data<\/span> \ndf\n\n hours exam score\n0 1 1 76\n1 2 3 78\n2 2 3 85\n3 4 5 88\n4 2 2 72\n5 1 2 69\n6 5 1 94\n7 4 1 94\n8 2 0 88\n9 4 3 92\n10 4 4 90\n11 3 3 75\n12 6 2 96\n13 5 4 90\n14 3 4 82\n15 4 4 85\n16 6 5 99\n17 2 1 83\n18 1 0 62\n19 2 1 76\n<\/strong><\/pre>\n import<\/span> statsmodels.api as<\/span> sm\n\n#define response variable\n<\/span>y = df['score']\n\n#define predictor variables\n<\/span>x = df[['hours', 'exams']]\n\n#add constant to predictor variables\n<\/span>x = sm.add_constant(x)\n\n#fit linear regression model\n<\/span>model = sm.OLS(y, x).fit()\n\n#view model summary\n<\/span>print(model.summary())\n\n OLS Regression Results \n==================================================== ============================\nDept. Variable: R-squared score: 0.734\nModel: OLS Adj. R-squared: 0.703\nMethod: Least Squares F-statistic: 23.46\nDate: Fri, 24 Jul 2020 Prob (F-statistic): 1.29e-05\nTime: 13:20:31 Log-Likelihood: -60.354\nNo. Observations: 20 AIC: 126.7\nDf Residuals: 17 BIC: 129.7\nDf Model: 2 \nCovariance Type: non-robust \n==================================================== ============================\n coef std err t P>|t| [0.025 0.975]\n-------------------------------------------------- ----------------------------\nconst 67.6735 2.816 24.033 0.000 61.733 73.614\nhours 5.5557 0.899 6.179 0.000 3.659 7.453\nexams -0.6017 0.914 -0.658 0.519 -2.531 1.327\n==================================================== ============================\nOmnibus: 0.341 Durbin-Watson: 1.506\nProb(Omnibus): 0.843 Jarque-Bera (JB): 0.196\nSkew: -0.216 Prob(JB): 0.907\nKurtosis: 2,782 Cond. No. 10.8\n==================================================== ============================\n<\/strong><\/pre>\n\n
\n
\n
\n
\n