Inleiding tot logistieke regressie

Wanneer we de relatie tussen een of meer voorspellende variabelen en een continue responsvariabele willen begrijpen, gebruiken we vaak lineaire regressie .

Wanneer de responsvariabele echter categorisch is, kunnen we logistische regressie gebruiken.

Logistische regressie is een type classificatie-algoritme omdat het probeert waarnemingen in een dataset in verschillende categorieën te „classificeren“.

Hier zijn enkele voorbeelden van het gebruik van logistische regressie:

• We willen de kredietscore en het banksaldo gebruiken om te voorspellen of een bepaalde klant zijn lening niet kan afbetalen. (Responsvariabele = “Standaard” of “Geen standaard”)
• We willen de gemiddelde rebounds per wedstrijd en de gemiddelde punten per wedstrijd gebruiken om te voorspellen of een bepaalde basketbalspeler wel of niet wordt opgeroepen voor de NBA (reactievariabele = ‚Drafted‘ of ‚Undrafted‘).
• We willen vierkante meters en het aantal badkamers gebruiken om te voorspellen of een huis in een bepaalde stad al dan niet te koop zal worden aangeboden voor een verkoopprijs van $ 200.000 of meer. (Responsvariabele = “Ja” of “Nee”)

Houd er rekening mee dat de responsvariabele in elk van deze voorbeelden slechts één van twee waarden kan aannemen. Vergelijk dit met lineaire regressie waarbij de responsvariabele een continue waarde aanneemt.

De logistische regressievergelijking

Logistische regressie maakt gebruik van een methode die bekend staat als maximale waarschijnlijkheidsschatting (de details worden hier niet besproken) om een vergelijking van de volgende vorm te vinden:

log[p(X) / ( ₁ -p(X))] = β ₀ + β ₁ X ₁ + β ₂ X ₂ + … + β _p

Goud:

• _Xj : de j ^-de voorspellende variabele
• β _j : schatting van de coëfficiënt voor de j ^-de voorspellende variabele

De formule aan de rechterkant van de vergelijking voorspelt de logkans dat de responsvariabele de waarde 1 aanneemt.

Wanneer we dus een logistisch regressiemodel passen, kunnen we de volgende vergelijking gebruiken om de waarschijnlijkheid te berekenen dat een bepaalde waarneming de waarde 1 aanneemt:

p(X) = e ^{β ₀ + β _{1 X 1 + β 2 X 2 + … + β p}}

Vervolgens gebruiken we een bepaalde waarschijnlijkheidsdrempel om de waarneming als 1 of 0 te classificeren.

We zouden bijvoorbeeld kunnen zeggen dat waarnemingen met een waarschijnlijkheid groter dan of gelijk aan 0,5 als „1“ worden geclassificeerd en dat alle andere waarnemingen als „0“ worden geclassificeerd.

Hoe het resultaat van logistieke regressie te interpreteren

Stel dat we een logistisch regressiemodel gebruiken om te voorspellen of een bepaalde basketbalspeler wel of niet zal worden opgenomen in de NBA op basis van zijn gemiddelde rebounds per wedstrijd en zijn gemiddelde punten per wedstrijd.

Hier is het resultaat van het logistische regressiemodel:

Met behulp van de coëfficiënten kunnen we de waarschijnlijkheid berekenen dat een bepaalde speler wordt opgenomen in de NBA op basis van zijn gemiddelde rebounds en punten per wedstrijd, met behulp van de volgende formule:

P(opgesteld) = e ^{-2,8690 + 0,0698*(rebs) + 0,1694*(punten)} / (1+e ^{-2,8690 + 0,0698*(rebs) + 0,1694*(punten) ) )}

Laten we bijvoorbeeld zeggen dat een bepaalde speler gemiddeld 8 rebounds per game en 15 punten per game behaalt. Volgens het model is de kans dat deze speler wordt opgeroepen voor de NBA 0,557 .

P(Schrijfbaar) = e ^{-2,8690 + 0,0698*(8) + 0,1694*(15)} / (1+e ^{-2,8690 + 0,0698*(8) + 0,1694*(15 )} ) = 0,557

Omdat deze kans groter is dan 0,5, voorspellen we dat deze speler wordt opgeroepen.

Vergelijk dat eens met een speler die gemiddeld slechts 3 rebounds en 7 punten per wedstrijd scoort. De kans dat deze speler wordt opgeroepen voor de NBA is 0,186 .

P(Schrijfbaar) = e ^{-2,8690 + 0,0698*(3) + 0,1694*(7)} / (1+e ^{-2,8690 + 0,0698*(3) + 0,1694*(7 )} ) = 0,186

Omdat deze kans kleiner is dan 0,5, voorspellen we dat deze speler niet wordt opgeroepen.

Logistieke regressie-aannames

Logistieke regressie maakt gebruik van de volgende aannames:

1. De responsvariabele is binair. Er wordt aangenomen dat de responsvariabele slechts twee mogelijke uitkomsten kan aannemen.

2. Waarnemingen zijn onafhankelijk. Er wordt aangenomen dat de waarnemingen in de dataset onafhankelijk van elkaar zijn. Dat wil zeggen dat waarnemingen niet afkomstig mogen zijn van herhaalde metingen van hetzelfde individu en op geen enkele manier met elkaar in verband mogen worden gebracht.

3. Er is geen ernstige multicollineariteit tussen de voorspellende variabelen . Er wordt aangenomen dat geen van de voorspellende variabelen sterk met elkaar gecorreleerd is.

4. Er zijn geen extreme uitschieters. Er wordt aangenomen dat er geen extreme uitschieters of invloedrijke waarnemingen in de dataset voorkomen.

5. Er bestaat een lineair verband tussen de voorspellende variabelen en de logit van de responsvariabele . Deze hypothese kan worden getest met behulp van een Box-Tidwell-test.

6. De steekproefomvang is groot genoeg. Normaal gesproken moet u voor elke verklarende variabele minimaal 10 gevallen hebben met de minst frequente uitkomst. Als u bijvoorbeeld drie verklarende variabelen heeft en de verwachte waarschijnlijkheid van de minst voorkomende uitkomst is 0,20, dan moet u een steekproefomvang hebben van minimaal (10*3) / 0,20 = 150.

Bekijk dit artikel voor een gedetailleerde uitleg over hoe u deze aannames kunt verifiëren.