Wanneer de relatie echter complexer is, moeten we vaak onze toevlucht nemen tot niet-lineaire methoden.<\/span><\/p>\n E\u00e9n van die methoden zijn classificatie- en regressiebomen<\/a> (vaak afgekort CART), die een reeks voorspellende variabelen gebruiken om beslissingsbomen<\/em> te cre\u00ebren die de waarde van een responsvariabele voorspellen.<\/span> <\/p>\n Het nadeel van CART-modellen is echter dat ze vaak last hebben van een hoge variantie<\/a> . Dat wil zeggen: als we een dataset in twee helften splitsen en op beide helften een beslisboom toepassen, kunnen de resultaten heel verschillend zijn.<\/span><\/p>\n E\u00e9n methode die we kunnen gebruiken om de variantie van CART-modellen te verminderen, staat bekend als bagging<\/strong> , ook wel bootstrap-aggregatie<\/em> genoemd.<\/span><\/p>\n Wanneer we \u00e9\u00e9n beslissingsboom maken, gebruiken we slechts \u00e9\u00e9n set trainingsgegevens om het model te bouwen.<\/span><\/p>\n Bij het verpakken<\/strong> wordt echter de volgende methode gebruikt:<\/span><\/p>\n 1.<\/strong> Neem b-<\/em> bootstrapped samples uit de originele dataset.<\/span><\/p>\n 2.<\/strong> Maak een beslissingsboom voor elk bootstrap-voorbeeld.<\/span><\/p>\n 3.<\/strong> Gemiddelde van de voorspellingen van elke boom om een definitief model te verkrijgen.<\/span><\/p>\n Bagging kan worden gebruikt met elk machine learning-algoritme, maar is vooral nuttig voor beslissingsbomen omdat deze inherent een hoge variantie hebben en bagging de variantie aanzienlijk kan verminderen, wat resulteert in minder testfouten.<\/span><\/p>\n Om beslisbomen op zakken toe te passen, kweken<\/em> we individuele bomen op diepte zonder ze te snoeien. Dit resulteert in individuele bomen met een hoge variantie, maar een lage bias. Als we vervolgens de gemiddelde voorspellingen van deze bomen nemen, kunnen we de variantie verkleinen.<\/span><\/p>\n In de praktijk worden optimale prestaties doorgaans bereikt met 50 tot 500 bomen, maar het is mogelijk om duizenden bomen te passen om een definitief model te produceren.<\/span><\/p>\n Houd er rekening mee dat het plaatsen van meer bomen meer rekenkracht vereist, wat al dan niet een probleem kan zijn, afhankelijk van de grootte van de dataset.<\/span><\/p>\n Het blijkt dat we de testfout van een in zakken verpakt model kunnen berekenen zonder te vertrouwen op k-voudige kruisvalidatie<\/a> .<\/span><\/p>\n De reden is dat kan worden aangetoond dat elk bootstrap-monster ongeveer 2\/3 van de waarnemingen uit de oorspronkelijke dataset bevat. Het resterende derde deel van de waarnemingen die niet in de zakboom passen, worden out-of-bag (OOB) waarnemingen<\/strong> genoemd.<\/span><\/p>\n We kunnen de waarde van de i-de waarneming in de oorspronkelijke dataset voorspellen door de gemiddelde voorspelling te nemen van elk van de bomen waarin die waarneming OOB was.<\/span><\/p>\n We kunnen deze aanpak gebruiken om een voorspelling te doen voor alle n<\/em> waarnemingen in de originele dataset en zo een foutenpercentage te berekenen, wat een geldige schatting is van de testfout.<\/span><\/p>\n Het voordeel van het gebruik van deze aanpak om de testfout te schatten is dat deze veel sneller is dan k-voudige kruisvalidatie, vooral als de dataset groot is.<\/span><\/p>\n Bedenk dat een van de voordelen van beslisbomen is dat ze gemakkelijk te interpreteren en te visualiseren zijn.<\/span><\/p>\n Wanneer we in plaats daarvan ‚bagging‘ gebruiken, zijn we niet langer in staat een individuele boom te interpreteren of te visualiseren, omdat het uiteindelijke ‚bagged‘-model het resultaat is van het middelen van veel verschillende bomen. We winnen aan voorspellingsnauwkeurigheid ten koste van de interpreteerbaarheid.<\/span><\/p>\n We kunnen echter nog steeds het belang van elke voorspellende variabele begrijpen door de totale reductie in RSS (resterende som van kwadraten) als gevolg van de verdeling over een bepaalde voorspellende variabele te berekenen, gemiddeld over alle B-<\/em> bomen. Hoe groter de waarde, hoe belangrijker de voorspeller.<\/span> <\/p>\n Op dezelfde manier kunnen we voor classificatiemodellen de totale reductie van de Gini-index berekenen als gevolg van de verdeling over een bepaalde voorspeller, gemiddeld over alle B<\/em> -bomen. Hoe groter de waarde, hoe belangrijker de voorspeller.<\/span><\/p>\n Dus hoewel we een uiteindelijk algemeen model niet precies kunnen interpreteren, kunnen we toch een idee krijgen van hoe belangrijk elke voorspellende variabele is bij het voorspellen van de respons.<\/span><\/p>\n Het voordeel van bagging is dat het over het algemeen een verbetering van het testfoutenpercentage oplevert in vergelijking met een enkele beslissingsboom.<\/span><\/p>\n Het nadeel is dat voorspellingen uit het verzamelen van bomen in zakken sterk gecorreleerd kunnen zijn als er een zeer sterke voorspeller in de dataset zit.<\/span><\/p>\n In dit geval zullen de meeste of alle bomen in zakken deze voorspeller gebruiken voor de eerste splitsing, wat resulteert in bomen die op elkaar lijken en sterk gecorreleerde voorspellingen hebben.<\/span><\/p>\n E\u00e9n manier om dit probleem te omzeilen is het gebruik van willekeurige bossen, die een vergelijkbare methode gebruiken als het in zakken doen van zakken, maar die wel versierde bomen kunnen produceren, wat vaak leidt tot lagere testfoutenpercentages.<\/span><\/p>\n Je kunt hier<\/a> een eenvoudige inleiding tot willekeurige bossen lezen.<\/span><\/p>\n Een inleiding tot classificatie- en regressiebomen<\/a> Wanneer de relatie tussen een reeks voorspellende variabelen en een responsvariabele lineair is, kunnen we methoden zoals meervoudige lineaire regressie gebruiken om de relatie tussen de variabelen te modelleren. Wanneer de relatie echter complexer is, moeten we vaak onze toevlucht nemen tot niet-lineaire methoden. E\u00e9n van die methoden zijn classificatie- en regressiebomen (vaak afgekort CART), […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1221","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/arbre3.png\")
Wat is inzakken?<\/strong><\/span><\/h3>\n
\n
\n
Schatting van out-of-bag-fouten<\/strong><\/span><\/h3>\n
Het belang van voorspellers begrijpen<\/strong><\/span><\/h3>\n
![\"Grafiek](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/sac1.png\")
Ga verder dan inpakken<\/strong><\/span><\/h3>\n
Aanvullende bronnen<\/strong><\/span><\/h3>\n
Opzakken uitvoeren in R (stap voor stap)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"