Beste subsetselectie in machine learning (uitleg en voorbeelden)

Bij machinaal leren willen we vaak modellen bouwen met behulp van een reeks voorspellende variabelen en een responsvariabele . Ons doel is om een model te bouwen dat de voorspellende variabelen effectief kan gebruiken om de waarde van de responsvariabele te voorspellen.

Gegeven een reeks p totale voorspellende variabelen, zijn er veel modellen die we potentieel zouden kunnen bouwen. Eén methode die we kunnen gebruiken om het beste model te kiezen, staat bekend als de beste subsetselectie en werkt als volgt:

1. Laat M ₀ het nulmodel zijn, dat geen voorspellende variabele bevat.

2. Voor k = 1, 2, … p:

• Geschikt voor alle _p C _k -modellen die exact k voorspellers bevatten.
• Kies _de beste uit deze _pCk- modellen en noem deze _Mk . Definieer “beste” als het model met de hoogste R ² of, op equivalente wijze, de laagste RSS.

3. Selecteer één enkel beste model uit M ₀ … M _p met behulp van kruisvalidatie-voorspellingsfouten, Cp, BIC, AIC of aangepaste R ² .

Merk op dat er voor een reeks p- voorspellingsvariabelen twee ^p mogelijke modellen zijn.

Voorbeeld van het selecteren van de beste subset

Stel dat we een dataset hebben met p = 3 voorspellende variabelen en een responsvariabele, y. Om de beste subsetselectie uit te voeren met deze dataset, zouden we de volgende 2 ^p = 2 ³ = 8 modellen passen:

• Een model zonder voorspellers
• Een model met voorspeller x ₁
• Een model met voorspeller x ₂
• Een model met voorspeller x ₃
• Een model met x ₁ , x ₂ voorspellers
• Een model met voorspellers x ₁ , x ₃
• Een model met x ₂ , x ₃ voorspellers
• Een model met voorspellers x ₁ , x ₂ , x ₃

Vervolgens zouden we uit elke set modellen met k- voorspellers het model met de hoogste ^R2 kiezen. We kunnen bijvoorbeeld kiezen voor:

• Een model zonder voorspellers
• Een model met voorspeller x ₂
• Een model met x ₁ , x ₂ voorspellers
• Een model met voorspellers x ₁ , x ₂ , x ₃

Vervolgens zouden we het beste model kruisvalideren en kiezen als het model dat resulteert in de laagste voorspellingsfout, Cp, BIC, AIC of aangepaste ^R2 .

We zouden bijvoorbeeld uiteindelijk het volgende model als het ‘beste’ model kunnen kiezen omdat het de laagste kruisgevalideerde voorspellingsfout opleverde:

• Een model met x ₁ , x ₂ voorspellers

Criteria voor het kiezen van het “beste” model

De laatste stap bij het selecteren van de beste subset is het kiezen van het model met de laagste voorspellingsfout, de laagste Cp, de laagste BIC, de laagste AIC of de laagste aangepaste ^R2 . hoger.

Hier volgen de formules die worden gebruikt om elk van deze statistieken te berekenen:

Cp: (RSS+2dσ̂) / n

AIC: (RSS+2dσ̂ ² ) / (nσ̂ ² )

BIC: (RSS+log(n)dσ̂ ² ) / n

R ² aangepast: 1 – ( (RSS / (nd-1)) / (TSS / (n-1)) )

Goud:

• d: Het aantal voorspellers
• n: Totaal aantal waarnemingen
• σ̂: schatting van de foutvariantie die is gekoppeld aan elke responsmaatstaf in een regressiemodel
• RSS: Residuele som van kwadraten uit het regressiemodel
• TSS: Totale som van kwadraten van het regressiemodel

Voor- en nadelen van de beste subsetselectie

Het selecteren van de beste subset biedt de volgende voordelen:

• Het is een eenvoudige benadering om te begrijpen en te interpreteren.
• Hierdoor kunnen we het best mogelijke model identificeren, omdat we alle combinaties van voorspellende variabelen in overweging nemen.

Deze methode heeft echter de volgende nadelen:

• Dit kan rekenintensief zijn. Voor een set p- voorspellingsvariabelen zijn er twee ^p mogelijke modellen. Met 10 voorspellende variabelen zijn er bijvoorbeeld 2 ¹⁰ = 1000 mogelijke modellen om te overwegen.
• Omdat het een zeer groot aantal modellen in overweging neemt, kan het potentieel een model vinden dat goed presteert op basis van trainingsgegevens, maar niet op basis van toekomstige gegevens. Dit zou tot overfitting kunnen leiden .

Conclusie

Hoewel het selecteren van de beste subset eenvoudig te implementeren en te begrijpen is, kan het onpraktisch zijn als u werkt met een dataset die een groot aantal voorspellers bevat, en kan dit mogelijk tot overfitting leiden.

Een alternatief voor deze methode staat bekend als stapsgewijze selectie , wat rekentechnisch efficiënter is.