<\/p>\n
In de statistiek bouwen we vaak modellen om twee redenen:<\/span><\/p>\n Kruisvalidatie<\/strong> is nuttig om te schatten hoe goed een model toekomstige waarnemingen kan voorspellen.<\/span><\/p>\n We kunnen bijvoorbeeld een meervoudig lineair regressiemodel bouwen<\/span> dat leeftijd<\/em> en inkomen<\/em> als voorspellende variabelen en de standaardstatus als<\/em> responsvariabele gebruikt.<\/span> In dit geval willen we het model misschien aan een dataset aanpassen en dat model vervolgens gebruiken om, op basis van het<\/span> inkomen en de leeftijd van een nieuwe aanvrager, de waarschijnlijkheid te voorspellen dat hij of zij zijn lening niet zal kunnen afbetalen.<\/span><\/p>\n Om te bepalen of het model een sterk voorspellend vermogen heeft, moeten we het gebruiken om voorspellingen te doen op basis van<\/span> gegevens die het nog nooit eerder heeft gezien. Hierdoor kunnen we de voorspellingsfout<\/strong> van het model schatten.<\/span><\/p>\n Kruisvalidatie<\/strong> verwijst naar verschillende manieren waarop we de voorspellingsfout kunnen schatten.<\/span> De algemene benadering van<\/span> kruisvalidatie is:<\/span><\/p>\n 1.<\/strong> Zet een bepaald aantal waarnemingen opzij in de dataset \u2013 doorgaans 15-25% van alle waarnemingen.<\/span> Wanneer we het aangepaste model gebruiken om voorspellingen te doen over nieuwe waarnemingen, kunnen we verschillende metrieken gebruiken om de kwaliteit van het model te meten, waaronder:<\/span><\/p>\n Meerdere R-kwadraat:<\/strong> Dit meet de sterkte van de lineaire relatie tussen de voorspellende variabelen en de<\/span> responsvariabele. Een R-kwadraat veelvoud van 1 geeft een perfect lineair verband aan, terwijl een<\/span> R-kwadraat veelvoud van 0 geen lineair verband aangeeft. Hoe hoger het R-kwadraat veelvoud, hoe waarschijnlijker het is dat de voorspellende variabelen de responsvariabele voorspellen.<\/span><\/p>\n Root Mean Square Error (RMSE):<\/strong> meet de gemiddelde voorspellingsfout die door het model wordt gemaakt bij het voorspellen van de waarde<\/span> van een nieuwe waarneming. Dit is de gemiddelde afstand tussen de werkelijke waarde van een waarneming en de door het model voorspelde waarde.<\/span> Lagere<\/span> waarden voor RMSE duiden op een betere modelfit.<\/span><\/p>\n Mean Absolute Error (MAE):<\/strong> Dit is het gemiddelde absolute verschil tussen de werkelijke waarde van een waarneming en de door het model voorspelde waarde.<\/span> Deze statistiek is over het algemeen minder gevoelig voor uitschieters dan RMSE. Lagere waarden voor MAE duiden op een betere modelfit.<\/span><\/p>\n Vervolgens leggen we uit hoe u de volgende kruisvalidatietechnieken in R kunt implementeren:<\/span><\/p>\n 1.<\/strong> Validatieset-aanpak<\/span> Om te illustreren hoe deze verschillende technieken kunnen worden gebruikt, zullen we een subset van de ingebouwde R-dataset van mtcars<\/em> gebruiken:<\/span><\/p>\n We zullen een meervoudig lineair regressiemodel bouwen met disp<\/em> , hp<\/em> en drat<\/em> als voorspellende variabelen en mpg<\/em><\/span> als responsvariabele.<\/span><\/p>\n De validatiesetbenadering<\/strong> werkt als volgt:<\/span><\/p>\n 1.<\/strong> Verdeel de gegevens in twee sets: de ene set wordt gebruikt om het model te trainen (dwz de modelparameters te schatten)<\/span> en de andere set wordt gebruikt om het model te testen. Over het algemeen wordt de trainingsset gegenereerd door willekeurig<\/span> 70-80% van de gegevens te selecteren, en de resterende 20-30% van de gegevens wordt gebruikt als testset.<\/span><\/p>\n 2.<\/strong> Maak het model met behulp van de trainingsgegevensset.<\/span> In het volgende voorbeeld wordt de gegevensset gebruikt die we hierboven hebben gedefinieerd. Eerst verdelen we de gegevens in<\/span> Bij het vergelijken van verschillende modellen heeft het model met de laagste RMSE op de testset de voorkeur.<\/span><\/p>\n Het voordeel van de validatiesetbenadering is dat deze eenvoudig en computationeel effici\u00ebnt is. Het nadeel<\/span> is dat het model wordt gebouwd met slechts een deel van de totale gegevens. Als de data die we<\/span> buiten de trainingsset laten, interessante of waardevolle informatie bevat, zal het model daar geen rekening mee houden.<\/span><\/p>\n De k-voudige kruisvalidatiebenadering<\/strong> werkt als volgt:<\/span><\/p>\n 1.<\/strong> Verdeel de gegevens willekeurig in k \u201cvouwen\u201d of subsets (bijvoorbeeld 5 of 10 subsets).<\/span> In dit voorbeeld verdelen we de gegevens eerst in<\/span> 5 subsets. Vervolgens passen we het model aan met behulp van alle gegevens, op een subset na. Vervolgens gebruiken we het model om<\/span> voorspellingen te doen over de deelverzameling die is weggelaten en registreren we de testfout (met behulp van R-kwadraat, RMSE en MAE). We<\/span> herhalen dit proces totdat elke subset als testset is gebruikt. Vervolgens berekenen we eenvoudig het gemiddelde van de 5<\/span> testfouten.<\/span><\/p>\n Het voordeel van de k-voudige kruisvalidatiebenadering ten opzichte van de validatiesetbenadering is dat het model verschillende keren wordt opgebouwd<\/span> met elke keer verschillende stukjes gegevens, zodat we niet het risico lopen belangrijke gegevens weg te laten bij het bouwen van<\/span> het model.<\/span><\/p>\n Het subjectieve deel van deze benadering is het kiezen van de waarde die voor k moet worden gebruikt, dat wil zeggen het aantal subsets waarin<\/span> de gegevens moeten worden verdeeld. Over het algemeen leiden lagere k-waarden tot een grotere bias maar een lagere variabiliteit, terwijl hogere k-waarden<\/span> leiden tot een lagere bias maar een grotere variabiliteit.<\/span><\/p>\n In de praktijk wordt k doorgaans gelijk aan 5 of 10 gekozen, omdat dit aantal<\/span> deelverzamelingen de neiging heeft tegelijkertijd te veel vertekening en te veel variabiliteit te vermijden.<\/span><\/p>\n De LOOCV-aanpak<\/strong> werkt als volgt:<\/span><\/p>\n 1.<\/strong> Bouw het model met behulp van op \u00e9\u00e9n na alle observaties in de dataset.<\/span> In het volgende voorbeeld ziet u hoe u LOOCV kunt uitvoeren voor dezelfde gegevensset als in de voorgaande voorbeelden:<\/span><\/p>\n Het voordeel van LOOCV is dat we alle datapunten gebruiken, waardoor mogelijke vertekeningen over het algemeen worden verminderd. Omdat<\/span> we het model echter gebruiken om de waarde van elke waarneming te voorspellen, zou dit kunnen leiden tot een grotere variabiliteit in<\/span> de voorspellingsfout.<\/span><\/p>\n Een ander nadeel van deze aanpak is dat deze in een zo groot aantal modellen moet passen dat deze ineffici\u00ebnt en rekenintensief kan worden.<\/span><\/p>\n We kunnen herhaalde k-voudige kruisvalidatie<\/strong> uitvoeren door simpelweg meerdere keren k-voudige kruisvalidatie uit te voeren. De uiteindelijke fout is de gemiddelde fout van het<\/span> aantal herhalingen.<\/span><\/p>\n In het volgende voorbeeld wordt een vijfvoudige kruisvalidatie uitgevoerd, vier keer herhaald:<\/span><\/p>\n Het voordeel van de herhaalde k-voudige kruisvalidatiebenadering is dat voor elke herhaling de gegevens worden opgesplitst in enigszins verschillende subsets, wat een nog onbevooroordeelde schatting van de voorspellingsfout van het model zou moeten opleveren. Het nadeel van deze aanpak is dat deze rekenintensief kan zijn, omdat we het modelaanpassingsproces verschillende keren moeten herhalen.<\/span><\/p>\n\n
Kruisvalidatie gebruiken om de voorspellingsfout te schatten<\/span><\/strong><\/h2>\n
2.<\/strong> Pas het model aan (of \u2018train\u2019) op basis van de waarnemingen die we in de dataset bewaren.<\/span>
3.<\/strong> Test hoe goed het model voorspellingen kan doen over waarnemingen die we niet hebben gebruikt om het model te trainen.<\/span><\/p>\n Het meten van de kwaliteit van een model<\/strong><\/span><\/h2>\n
Implementatie van vier verschillende kruisvalidatietechnieken in R<\/strong><\/span><\/h2>\n
2.<\/strong> k-voudige kruisvalidatie<\/span>
3.<\/strong> Laat kruisvalidatie buiten beschouwing<\/span>
4.<\/strong> Herhaalde k-voudige kruisvalidatie<\/span><\/p>\n #define dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#view first six rows of new data\n<\/span>head(data)\n\n# mpg disp hp drat\n#Mazda RX4 21.0 160 110 3.90\n#Mazda RX4 Wag 21.0 160 110 3.90\n#Datsun 710 22.8 108 93 3.85\n#Hornet 4 Drive 21.4 258 110 3.08\n#Hornet Sportabout 18.7 360 175 3.15\n#Valiant 18.1 225 105 2.76\n<\/strong><\/pre>\n Validatieset-aanpak<\/span><\/strong><\/h2>\n
3.<\/strong> Gebruik het model om voorspellingen te doen over de testsetgegevens.<\/span>
4.<\/strong> Meet de modelkwaliteit met behulp van statistieken zoals R-kwadraat, RMSE en MAE.<\/span><\/p>\n Voorbeeld:<\/span><\/strong><\/h3>\n
een trainingsset en een testset, waarbij 80% van de gegevens als trainingsset wordt gebruikt en de overige 20% van de gegevens<\/span> als testset. Vervolgens bouwen we het model met behulp van de<\/span> trainingsset. Vervolgens gebruiken we het model om voorspellingen te doen over de testset. Ten slotte meten we de kwaliteit van het<\/span> model met behulp van R-kwadraat, RMSE en MAE.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#split the dataset into a training set (80%) and test set (20%).\n<\/span>training_obs <- data$mpg %>% createDataPartition(p = 0.8, list = FALSE)\n\ntrain <- data[training_obs, ]\ntest <- data[-training_obs, ]\n\n# Build the linear regression model on the training set\n<\/span>model <- lm(mpg ~ ., data = train)\n\n# Use the model to make predictions on the test set\n<\/span>predictions <- model %>% predict(test)\n\n#Examine R-squared, RMSE, and MAE of predictions\n<\/span>data.frame(R_squared = R2(predictions, test$mpg),\n RMSE = RMSE(predictions, test$mpg),\n MAE = MAE(predictions, test$mpg))\n\n#R_squared RMSE MAE\n#1 0.9213066 1.876038 1.66614\n<\/strong><\/pre>\n Voor- en nadelen van deze aanpak<\/strong><\/span><\/h3>\n
k-voudige kruisvalidatiebenadering<\/strong><\/span><\/h2>\n
2.<\/strong> Train het model op alle gegevens en laat slechts \u00e9\u00e9n subset weg.<\/span>
3.<\/strong> Gebruik het model om voorspellingen te doen over de gegevens uit de weggelaten subset.<\/span>
4.<\/strong> Herhaal dit proces totdat elk van de k-subsets als testset is gebruikt.<\/span>
5<\/strong> . Meet de kwaliteit van het model door de k-testfouten te middelen. Dit is bekend<\/span>
als een kruisvalidatiefout.<\/span><\/p>\n Voorbeeld<\/span><\/strong><\/h3>\n
#load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets (or \"folds\") to use\n<\/span>train_control <- trainControl(method = \"cv\", number = 5)\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#Summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold) \n#Summary of sample sizes: 26, 25, 26, 25, 26 \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.095501 0.7661981 2.467427\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Voor- en nadelen van deze aanpak<\/span><\/strong><\/h3>\n
Leave One Out Cross-Validation (LOOCV)-aanpak<\/strong><\/span><\/h2>\n
2.<\/strong> Gebruik het model om de waarde van de ontbrekende waarneming te voorspellen. Noteer de fout bij het testen van deze voorspelling.<\/span>
3.<\/strong> Herhaal dit proces voor elke waarneming in de dataset.<\/span>
4.<\/strong> Meet de kwaliteit van het model door alle voorspellingsfouten te middelen.<\/span><\/p>\n Voorbeeld<\/span><\/strong><\/h3>\n
#load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#specify that we want to use LOOCV\n<\/span>train_control <- trainControl( method = \"LOOCV\"<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Leave-One-Out Cross-Validation \n#Summary of sample sizes: 31, 31, 31, 31, 31, 31, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.168763 0.7170704 2.503544\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Voor- en nadelen van deze aanpak<\/strong><\/span><\/h3>\n
Herhaalde k-voudige kruisvalidatiebenadering<\/span><\/strong><\/h2>\n
#load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets to use and number of times to repeat k-fold CV\n<\/span>train_control <- trainControl(method = \"repeatedcv\", number = 5, repeats = 4<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold, repeated 4 times) \n#Summary of sample sizes: 26, 25, 26, 25, 26, 25, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.176339 0.7909337 2.559131\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Voor- en nadelen van deze aanpak<\/strong><\/span><\/h3>\n