Stel dat we bijvoorbeeld een regressiemodel<\/a> willen maken dat gebruikmaakt van de voorspellende variabele uren besteed aan studeren<\/em> om de ACT-score<\/em> van de responsvariabele voor middelbare scholieren te voorspellen.<\/span><\/p>\n Om dit model te bouwen, verzamelen we gegevens over de uren die aan studeren zijn besteed en de bijbehorende ACT-score voor honderden leerlingen in een bepaald schooldistrict.<\/span><\/p>\n Deze gegevens gaan we vervolgens gebruiken om een model te trainen<\/em> dat voorspellingen kan doen over de score die een bepaalde leerling zal behalen op basis van het totaal aantal bestudeerde uren.<\/span><\/p>\n Om de bruikbaarheid van het model te beoordelen, kunnen we meten hoe goed de voorspellingen van het model overeenkomen met de waargenomen gegevens. Een van de meest gebruikte maatstaven om dit te doen is de gemiddelde kwadratische fout (MSE), die als volgt wordt berekend:<\/span><\/p>\n MSE = (1\/n)*\u03a3(y i<\/sub> \u2013 f(x i<\/sub> )) 2<\/sup><\/span><\/p>\n Goud:<\/span><\/p>\n Hoe dichter de modelvoorspellingen bij de waarnemingen liggen, hoe lager de MSE zal zijn.<\/span><\/p>\n Een van de grootste fouten die bij machinaal leren worden gemaakt, is echter het optimaliseren van modellen om de training MSE<\/strong> te verminderen, dat wil zeggen hoe goed de modelvoorspellingen overeenkomen met de gegevens die we hebben gebruikt om het model te trainen.<\/span><\/p>\n Wanneer een model zich te veel richt op het verminderen van de trainings-MSE, werkt het vaak te hard om patronen in de trainingsgegevens te vinden die eenvoudigweg door toeval worden veroorzaakt. Wanneer het model vervolgens wordt toegepast op onzichtbare gegevens, zijn de prestaties slecht.<\/span><\/p>\n Dit fenomeen staat bekend als overfitting<\/strong> . Dit gebeurt wanneer we een model te nauw \u2018passen\u2019 bij de trainingsgegevens en zo uiteindelijk een model bouwen dat niet bruikbaar is voor het doen van voorspellingen op basis van nieuwe gegevens.<\/span><\/p>\n Om overfitting te begrijpen, gaan we terug naar het voorbeeld van het maken van een regressiemodel dat uren besteed aan studeren<\/em> gebruikt om de ACT-score<\/em> te voorspellen.<\/span><\/p>\n Laten we zeggen dat we gegevens verzamelen voor 100 leerlingen in een bepaald schooldistrict en een snelle spreidingsdiagram maken om de relatie tussen de twee variabelen te visualiseren:<\/span> <\/p>\n De relatie tussen de twee variabelen lijkt kwadratisch te zijn, dus stel dat we het volgende kwadratische regressiemodel toepassen:<\/span><\/p>\n Score = 60,1 + 5,4*(uren) \u2013 0,2*(uren) 2<\/sup><\/span> <\/p>\n Dit model heeft een gemiddelde kwadratische fout (MSE) van 3,45<\/strong> . Dat wil zeggen dat het wortelgemiddelde-kwadratenverschil tussen de voorspellingen van het model en de werkelijke ACT-scores 3,45 bedraagt.<\/span><\/p>\n We zouden deze training-MSE echter kunnen verminderen door een polynoommodel van hogere orde toe te passen. Stel dat we bijvoorbeeld het volgende model toepassen:<\/span><\/p>\n Score = 64,3 \u2013 7,1*(Uren) + 8,1*(Uren) 2<\/sup> \u2013 2,1*(Uren) 3<\/sup> + 0,2*(Uren ) 4 \u2013 0,1*(Uren) 5<\/sup> +<\/sup> 0,2(Uren) 6<\/sup><\/span> <\/p>\n Merk op dat de regressielijn veel beter bij de werkelijke gegevens past dan de vorige regressielijn.<\/span><\/p>\n Dit model heeft een training root mean square error (MSE) van slechts 0,89<\/strong> . Dat wil zeggen dat het kwadratische wortelverschil tussen de voorspellingen van het model en de werkelijke ACT-scores 0,89 bedraagt.<\/span><\/p>\n Deze MSE-training is veel kleiner dan die van het vorige model.<\/span><\/p>\n Het maakt ons echter niet zoveel uit hoe goed de voorspellingen<\/strong> van het model overeenkomen met de gegevens die we hebben gebruikt om het model te trainen. In plaats daarvan geven we vooral om de MSE-test<\/strong> \u2013 de MSE wanneer ons model wordt toegepast op onzichtbare gegevens.<\/span><\/p>\n Als we het bovenstaande polynomiale regressiemodel van hogere orde zouden toepassen op een onzichtbare dataset, zou het waarschijnlijk slechter presteren dan het eenvoudigere kwadratische regressiemodel. Dat wil zeggen, het zou een hogere MSE-test opleveren, en dat is precies wat we niet willen.<\/span><\/p>\n De eenvoudigste manier om overfitting te detecteren is door kruisvalidatie uit te voeren. De meest gebruikte methode staat bekend als k-voudige kruisvalidatie<\/a> en werkt als volgt:<\/span><\/p>\n Stap 1: Verdeel een dataset willekeurig in k<\/em> groepen, of \u2018vouwen\u2019, van ongeveer gelijke grootte.<\/strong><\/span> <\/p>\n Stap 2: Kies een van de vouwen als uw holdingset. Pas de sjabloon aan de resterende k-1-vouwen aan. Bereken de MSE-proef op de waarnemingen in de gespannen lamel.<\/strong><\/span> <\/p>\n Stap 3: Herhaal dit proces k<\/em> keer, telkens met een andere set als uitsluitingsset.<\/strong><\/span> <\/p>\n Stap 4: Bereken de totale MSE van de test als het gemiddelde van de k<\/em> MSE’s van de test.<\/strong><\/span><\/p>\n Test MSE = (1\/k)*\u03a3MSE i<\/sub><\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n Deze MSE-test geeft ons een goed beeld van hoe een bepaald model zal presteren op onbekende data.<\/span><\/p>\n In de praktijk kunnen we verschillende modellen passen en k-voudige kruisvalidatie uitvoeren op elk model om de MSE-test ervan te achterhalen. We kunnen dan het model met de laagste MSE-test kiezen als het beste model om voorspellingen in de toekomst te doen.<\/span><\/p>\n Dit zorgt ervoor dat we een model selecteren dat waarschijnlijk het beste presteert op basis van toekomstige gegevens, in tegenstelling tot een model dat simpelweg de training MSE minimaliseert en goed \u2018past\u2019 bij historische gegevens.<\/span><\/p>\n Wat is de afweging tussen bias en variantie bij machinaal leren?<\/a> Bij machine learning bouwen we vaak modellen zodat we nauwkeurige voorspellingen kunnen doen over bepaalde fenomenen. Stel dat we bijvoorbeeld een regressiemodel willen maken dat gebruikmaakt van de voorspellende variabele uren besteed aan studeren om de ACT-score van de responsvariabele voor middelbare scholieren te voorspellen. Om dit model te bouwen, verzamelen we gegevens over de […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"class_list":["post-1179","post","type-post","status-publish","format-standard","hentry","category-gids"],"yoast_head":"\n\n
Voorbeeld van overfitting<\/strong><\/span><\/h3>\n
![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage1.png\")
<\/p>\n![\"Overfitting](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage2.png\")
<\/p>\n![\"Een](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage3.png\")
<\/p>\n Hoe overfitting te detecteren en te voorkomen<\/strong><\/span><\/h3>\n
![\"Splits](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold1.png\")
<\/p>\n![\"k-voudige](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold2.png\")
<\/p>\n![\"Voorbeeld](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold3.png\")
<\/p>\n\n
Aanvullende bronnen<\/strong><\/span><\/h3>\n
Een inleiding tot K-fold kruisvalidatie<\/a>
Regressie- en classificatiemodellen in machine learning<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"