De meest gebruikelijke manier om dit te meten is met behulp van de gemiddelde kwadratische fout (MSE), die als volgt wordt berekend:<\/span><\/p>\n MSE = (1\/n)*\u03a3(y i<\/sub> \u2013 f(x i<\/sub> )) 2<\/sup><\/span><\/p>\n Goud:<\/span><\/p>\n Hoe dichter de modelvoorspellingen bij de waarnemingen liggen, hoe lager de MSE zal zijn.<\/span><\/p>\n In de praktijk gebruiken we het volgende proces om de MSE van een bepaald model te berekenen:<\/span><\/p>\n 1.<\/strong> Verdeel een dataset in een trainingsset en een testset.<\/span><\/p>\n 2.<\/strong> Maak het model met alleen de gegevens uit de trainingsset.<\/span><\/p>\n 3.<\/strong> Gebruik het model om voorspellingen te doen over de testset en de MSE van de test te meten.<\/span><\/p>\n MSE-testen geven ons een idee van hoe goed een model presteert op gegevens die het nog niet eerder heeft gezien. Het nadeel van het gebruik van \u00e9\u00e9n enkele testset is echter dat de MSE-test aanzienlijk kan vari\u00ebren, afhankelijk van de observaties die in de trainings- en testsets worden gebruikt.<\/span><\/p>\n E\u00e9n manier om dit probleem te voorkomen, is door een model meerdere keren te passen, waarbij elke keer een andere trainings- en testset wordt gebruikt, en vervolgens de test-MSE te berekenen als het gemiddelde van alle test-MSE’s.<\/span><\/p>\n Deze algemene methode staat bekend als kruisvalidatie en een specifieke vorm ervan staat bekend als k-voudige kruisvalidatie<\/b> .<\/span><\/p>\n Bij K-voudige kruisvalidatie<\/strong> wordt de volgende aanpak gebruikt om een model te evalueren:<\/span><\/p>\n Stap 1: Verdeel een dataset willekeurig in k<\/em> groepen, of \u2018vouwen\u2019, van ongeveer gelijke grootte.<\/strong><\/span> <\/p>\n Stap 2: Kies een van de vouwen als uw holdingset. Pas de sjabloon aan de resterende k-1-vouwen aan. Bereken de MSE-proef op de waarnemingen in de gespannen lamel.<\/strong><\/span> <\/p>\n Stap 3: Herhaal dit proces k<\/em> keer, telkens met een andere set als uitsluitingsset.<\/strong><\/span> <\/p>\n Stap 4: Bereken de totale MSE van de test als het gemiddelde van de k<\/em> MSE’s van de test.<\/strong><\/span><\/p>\n Test MSE = (1\/k)*\u03a3MSE i<\/sub><\/strong><\/span><\/p>\n Goud:<\/span><\/p>\n Over het algemeen geldt dat hoe meer vouwen we gebruiken bij k-voudige kruisvalidatie, hoe lager de MSE-testbias, maar hoe hoger de variantie. Omgekeerd geldt: hoe minder vouwen we gebruiken, hoe groter de bias, maar hoe lager de variantie. Dit is een klassiek voorbeeld van de afweging tussen bias en variantie<\/a> bij machinaal leren.<\/span><\/p>\n In de praktijk kiezen wij er doorgaans voor om tussen de 5 en 10 lagen te gebruiken. Zoals opgemerkt in An Introduction to Statistical Learning<\/em> ,<\/a> is aangetoond dat dit aantal vouwen een optimaal evenwicht biedt tussen bias en variantie en dus betrouwbare schattingen oplevert van de MSE van de test:<\/span><\/p>\n Samenvattend: er is een afweging tussen bias en variantie verbonden aan de keuze van k bij k-voudige kruisvalidatie.<\/span><\/p>\n Gezien deze overwegingen voert men doorgaans k-voudige kruisvalidatie uit met behulp van k = 5 of k = 10, aangezien empirisch is aangetoond dat deze waarden schattingen van het testfoutpercentage opleveren die noch te hoge bias, noch een zeer hoge variantie vertonen.<\/span><\/p>\n -Pagina 184, Een inleiding tot statistisch leren<\/em><\/span><\/p>\n<\/blockquote>\n Wanneer we een dataset opsplitsen in een enkele trainingsset en een enkele testset, kan de test-MSE die wordt berekend op basis van de observaties in de testset aanzienlijk vari\u00ebren, afhankelijk van de observaties die in de trainings- en testsets worden gebruikt.<\/span><\/p>\n Met behulp van k-voudige kruisvalidatie kunnen we de MSE-test berekenen met behulp van verschillende variaties van trainings- en testsets. Dit geeft ons een veel grotere kans op het verkrijgen van een onbevooroordeelde schatting van de MSE van de test.<\/span><\/p>\n K-voudige kruisvalidatie biedt ook een rekenvoordeel ten opzichte van Leave-One-Out Cross-Validation (LOOCV),<\/a> omdat het slechts k<\/em> keer in een model hoeft te passen in plaats van n<\/em> keer.<\/span><\/p>\n Voor modellen die veel tijd nodig hebben om te passen, kan k-voudige kruisvalidatie de test-MSE veel sneller berekenen dan LOOCV en in veel gevallen zal de test-MSE die door elke benadering wordt berekend behoorlijk vergelijkbaar zijn als je een voldoende aantal vouwen gebruikt.<\/span><\/p>\n Er zijn verschillende uitbreidingen van k-voudige kruisvalidatie, waaronder:<\/span><\/p>\n Herhaalde k-voudige kruisvalidatie:<\/strong> hier wordt k-voudige kruisvalidatie eenvoudigweg n<\/em> keer herhaald. Wanneer de trainings- en testsets gemengd zijn, vermindert dit de vertekening in de test-MSE-schatting verder, hoewel dit langer duurt dan gewone k-voudige kruisvalidatie.<\/span><\/p>\n Leave-One-Out kruisvalidatie:<\/strong> Dit is een speciaal geval van k-voudige kruisvalidatie waarbij k<\/em> = n<\/em> . Meer over deze methode kunt u hier<\/a> lezen.<\/span><\/p>\n\n
K-voudige kruisvalidatie<\/strong><\/span><\/h3>\n
![\"Splits](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold1.png\")
<\/p>\n![\"k-voudige](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold2.png\")
<\/p>\n![\"Voorbeeld](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold3.png\")
<\/p>\n\n
Hoe K te kiezen<\/strong><\/span><\/h3>\n
\n
Voordelen van K-Fold kruisvalidatie<\/strong><\/span><\/h3>\n
K-vouw kruisvalidatie-extensies<\/strong><\/span><\/h3>\n