Einkommen und Alter eines neuen Antragstellers die Wahrscheinlichkeit vorherzusagen, dass er mit seinem Kredit in Verzug ger\u00e4t.<\/span><\/p>\n Um festzustellen, ob das Modell \u00fcber eine starke Vorhersagef\u00e4higkeit verf\u00fcgt, m\u00fcssen wir es verwenden, um Vorhersagen auf<\/span> Daten zu treffen, die es noch nie zuvor gesehen hat. Dadurch k\u00f6nnen wir den Vorhersagefehler<\/strong> des Modells absch\u00e4tzen.<\/span><\/p>\n Verwendung der Kreuzvalidierung zur Sch\u00e4tzung des Vorhersagefehlers<\/span><\/strong><\/h2>\n Kreuzvalidierung<\/strong> bezieht sich auf verschiedene M\u00f6glichkeiten, Vorhersagefehler abzusch\u00e4tzen.<\/span> Der allgemeine Ansatz zur<\/span> Kreuzvalidierung ist:<\/span><\/p>\n 1.<\/strong> Reservieren Sie eine bestimmte Anzahl von Beobachtungen im Datensatz \u2013 typischerweise 15\u201325 % aller Beobachtungen.<\/span>
2.<\/strong> Passen Sie das Modell an die Beobachtungen an, die wir im Datensatz speichern (oder \u201etrainieren\u201c).<\/span>
3.<\/strong> Testen Sie, wie gut das Modell Vorhersagen \u00fcber Beobachtungen treffen kann, die wir nicht zum Trainieren des Modells verwendet haben.<\/span><\/p>\n Messung der Qualit\u00e4t eines Modells<\/strong><\/span><\/h2>\n Wenn wir das angepasste Modell verwenden, um Vorhersagen \u00fcber neue Beobachtungen zu treffen, k\u00f6nnen wir verschiedene Metriken verwenden, um die Qualit\u00e4t des Modells zu messen, darunter:<\/span><\/p>\n Multiples R-Quadrat:<\/strong> Dies misst die St\u00e4rke der linearen Beziehung zwischen den Pr\u00e4diktorvariablen und der<\/span> Antwortvariablen. Ein R-Quadrat-Vielfaches von 1 weist auf eine perfekte lineare Beziehung hin, w\u00e4hrend ein<\/span> R-Quadrat-Vielfaches von 0 auf keine lineare Beziehung hinweist. Je h\u00f6her das R-Quadrat-Vielfache ist, desto wahrscheinlicher ist es, dass die Pr\u00e4diktorvariablen die Antwortvariable vorhersagen.<\/span><\/p>\n Root Mean Square Error (RMSE):<\/strong> Misst den durchschnittlichen Vorhersagefehler, den das Modell bei der Vorhersage des Werts<\/span> einer neuen Beobachtung macht. Dies ist der durchschnittliche Abstand zwischen dem wahren Wert einer Beobachtung und dem vom Modell vorhergesagten Wert.<\/span> Niedrigere<\/span> Werte f\u00fcr RMSE weisen auf eine bessere Modellanpassung hin.<\/span><\/p>\n Mittlerer absoluter Fehler (MAE):<\/strong> Dies ist die durchschnittliche absolute Differenz zwischen dem wahren Wert einer Beobachtung und dem vom Modell vorhergesagten Wert.<\/span> Diese Metrik reagiert im Allgemeinen weniger empfindlich auf Ausrei\u00dfer als RMSE. Niedrigere Werte f\u00fcr MAE weisen auf eine bessere Modellanpassung hin.<\/span><\/p>\n Implementierung von vier verschiedenen Kreuzvalidierungstechniken in R<\/strong><\/span><\/h2>\n Anschlie\u00dfend erkl\u00e4ren wir, wie die folgenden Kreuzvalidierungstechniken in R implementiert werden:<\/span><\/p>\n 1.<\/strong> Validierungssatz-Ansatz<\/span>
2.<\/strong> k-fache Kreuzvalidierung<\/span>
3.<\/strong> Lassen Sie die Kreuzvalidierung beiseite<\/span>
4.<\/strong> Wiederholte k-fache Kreuzvalidierung<\/span><\/p>\n Um zu veranschaulichen, wie diese verschiedenen Techniken verwendet werden, verwenden wir eine Teilmenge des in mtcars<\/em> integrierten R-Datensatzes:<\/span><\/p>\n #define dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#view first six rows of new data\n<\/span>head(data)\n\n# mpg disp hp drat\n#Mazda RX4 21.0 160 110 3.90\n#Mazda RX4 Wag 21.0 160 110 3.90\n#Datsun 710 22.8 108 93 3.85\n#Hornet 4 Drive 21.4 258 110 3.08\n#Hornet Sportabout 18.7 360 175 3.15\n#Valiant 18.1 225 105 2.76\n<\/strong><\/pre>\n Wir werden ein multiples lineares Regressionsmodell erstellen, das disp<\/em> , hp<\/em> und drat<\/em> als Pr\u00e4diktorvariablen und mpg<\/em><\/span> als Antwortvariable verwendet.<\/span><\/p>\n Validierungssatz-Ansatz<\/span><\/strong><\/h2>\n Der Validierungssatz-Ansatz<\/strong> funktioniert wie folgt:<\/span><\/p>\n 1.<\/strong> Teilen Sie die Daten in zwei S\u00e4tze auf: Ein Satz wird zum Trainieren des Modells (dh Sch\u00e4tzen der Modellparameter)<\/span> und der andere Satz zum Testen des Modells verwendet. Im Allgemeinen wird der Trainingssatz durch zuf\u00e4llige Auswahl<\/span> von 70\u201380 % der Daten generiert und die restlichen 20\u201330 % der Daten werden als Testsatz verwendet.<\/span><\/p>\n 2.<\/strong> Erstellen Sie das Modell mithilfe des Trainingsdatensatzes.<\/span>
3.<\/strong> Verwenden Sie das Modell, um Vorhersagen \u00fcber die Testsatzdaten zu treffen.<\/span>
4.<\/strong> Messen Sie die Modellqualit\u00e4t mithilfe von Metriken wie R-Quadrat, RMSE und MAE.<\/span><\/p>\n Beispiel:<\/span><\/strong><\/h3>\n Das folgende Beispiel verwendet den oben definierten Datensatz. Zuerst teilen wir die Daten auf<\/span>
Ein Trainingssatz und ein Testsatz, wobei 80 % der Daten als Trainingssatz und die restlichen 20 % der Daten<\/span> als Testsatz verwendet werden. Als n\u00e4chstes erstellen wir das Modell mithilfe des<\/span> Trainingssatzes. Dann verwenden wir das Modell, um Vorhersagen \u00fcber den Testsatz zu treffen. Schlie\u00dflich messen wir die Qualit\u00e4t des<\/span> Modells mithilfe von R-Quadrat, RMSE und MAE.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#split the dataset into a training set (80%) and test set (20%).\n<\/span>training_obs <- data$mpg %>% createDataPartition(p = 0.8, list = FALSE)\n\ntrain <- data[training_obs, ]\ntest <- data[-training_obs, ]\n\n# Build the linear regression model on the training set\n<\/span>model <- lm(mpg ~ ., data = train)\n\n# Use the model to make predictions on the test set\n<\/span>predictions <- model %>% predict(test)\n\n#Examine R-squared, RMSE, and MAE of predictions\n<\/span>data.frame(R_squared = R2(predictions, test$mpg),\n RMSE = RMSE(predictions, test$mpg),\n MAE = MAE(predictions, test$mpg))\n\n#R_squared RMSE MAE\n#1 0.9213066 1.876038 1.66614\n<\/strong><\/pre>\n Beim Vergleich verschiedener Modelle wird das Modell bevorzugt, das im Testsatz den niedrigsten RMSE erzeugt.<\/span><\/p>\n Vor- und Nachteile dieses Ansatzes<\/strong><\/span><\/h3>\n Der Vorteil des Validierungssatzansatzes besteht darin, dass er einfach und recheneffizient ist. Der Nachteil<\/span> besteht darin, dass das Modell nur aus einem Teil der Gesamtdaten erstellt wird. Wenn die Daten, die wir<\/span> aus dem Trainingssatz weglassen, interessante oder wertvolle Informationen enthalten, werden diese vom Modell nicht ber\u00fccksichtigt.<\/span><\/p>\n k-facher Kreuzvalidierungsansatz<\/strong><\/span><\/h2>\n Der Ansatz der k-fachen Kreuzvalidierung<\/strong> funktioniert wie folgt:<\/span><\/p>\n 1.<\/strong> Teilen Sie die Daten nach dem Zufallsprinzip in k \u201eFaltungen\u201c oder Teilmengen auf (z. B. 5 oder 10 Teilmengen).<\/span>
2.<\/strong> Trainieren Sie das Modell anhand aller Daten und lassen Sie dabei nur eine Teilmenge aus.<\/span>
3.<\/strong> Verwenden Sie das Modell, um Vorhersagen \u00fcber die Daten der ausgelassenen Teilmenge zu treffen.<\/span>
4.<\/strong> Wiederholen Sie diesen Vorgang, bis jede der k Teilmengen als Testsatz verwendet wurde.<\/span>
5<\/strong> . Messen Sie die Qualit\u00e4t des Modells, indem Sie die k Testfehler mitteln. Das ist bekannt<\/span>
als Kreuzvalidierungsfehler.<\/span><\/p>\n Beispiel<\/span><\/strong><\/h3>\n In diesem Beispiel teilen wir die Daten zun\u00e4chst in<\/span> 5 Teilmengen auf. Dann passen wir das Modell mithilfe aller Daten bis auf eine Teilmenge an. Dann verwenden wir das Modell, um<\/span> Vorhersagen \u00fcber die ausgelassene Teilmenge zu treffen und den Testfehler aufzuzeichnen (unter Verwendung von R-Quadrat, RMSE und MAE). Wir<\/span> wiederholen diesen Vorgang, bis jede Teilmenge als Testsatz verwendet wurde. Dann berechnen wir einfach den Durchschnitt der 5<\/span> Testfehler.<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets (or \"folds\") to use\n<\/span>train_control <- trainControl(method = \"cv\", number = 5)\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#Summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold) \n#Summary of sample sizes: 26, 25, 26, 25, 26 \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.095501 0.7661981 2.467427\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vor- und Nachteile dieses Ansatzes<\/span><\/strong><\/h3>\n Der Vorteil des k-fachen Kreuzvalidierungsansatzes gegen\u00fcber dem Validierungssatzansatz besteht darin, dass er das Modell mehrmals<\/span> unter Verwendung unterschiedlicher Datenteile erstellt, sodass wir beim Erstellen<\/span> des Modells nicht das Risiko eingehen m\u00fcssen, wichtige Daten auszulassen.<\/span><\/p>\n Der subjektive Teil dieses Ansatzes besteht darin, den f\u00fcr k zu verwendenden Wert auszuw\u00e4hlen, d. h. die Anzahl der Teilmengen,<\/span> in die die Daten unterteilt werden sollen. Im Allgemeinen f\u00fchren niedrigere k-Werte zu einer h\u00f6heren Verzerrung, aber geringeren Variabilit\u00e4t, w\u00e4hrend h\u00f6here k-Werte<\/span> zu einer geringeren Verzerrung, aber einer h\u00f6heren Variabilit\u00e4t f\u00fchren.<\/span><\/p>\n In der Praxis wird k im Allgemeinen gleich 5 oder 10 gew\u00e4hlt, da diese Anzahl von<\/span> Teilmengen tendenziell gleichzeitig eine zu gro\u00dfe Verzerrung und eine zu gro\u00dfe Variabilit\u00e4t vermeidet.<\/span><\/p>\n Leave One Out Cross-Validation (LOOCV)-Ansatz<\/strong><\/span><\/h2>\n Der LOOCV-Ansatz<\/strong> funktioniert wie folgt:<\/span><\/p>\n 1.<\/strong> Erstellen Sie das Modell unter Verwendung aller Beobachtungen bis auf eine im Datensatz.<\/span>
2.<\/strong> Verwenden Sie das Modell, um den Wert der fehlenden Beobachtung vorherzusagen. Notieren Sie den Fehler beim Testen dieser Vorhersage.<\/span>
3.<\/strong> Wiederholen Sie diesen Vorgang f\u00fcr jede Beobachtung im Datensatz.<\/span>
4.<\/strong> Messen Sie die Qualit\u00e4t des Modells, indem Sie alle Vorhersagefehler mitteln.<\/span><\/p>\n Beispiel<\/span><\/strong><\/h3>\n Das folgende Beispiel zeigt, wie perform LOOCV f\u00fcr denselben Datensatz verwendet wird, der in den vorherigen Beispielen verwendet wurde:<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#specify that we want to use LOOCV\n<\/span>train_control <- trainControl( method = \"LOOCV\"<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Leave-One-Out Cross-Validation \n#Summary of sample sizes: 31, 31, 31, 31, 31, 31, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.168763 0.7170704 2.503544\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vor- und Nachteile dieses Ansatzes<\/strong><\/span><\/h3>\n Der Vorteil von LOOCV besteht darin, dass wir alle Datenpunkte verwenden, was im Allgemeinen potenzielle Verzerrungen reduziert. Da<\/span> wir das Modell jedoch verwenden, um den Wert jeder Beobachtung vorherzusagen, k\u00f6nnte dies zu einer gr\u00f6\u00dferen Variabilit\u00e4t des<\/span> Vorhersagefehlers f\u00fchren.<\/span><\/p>\n Ein weiterer Nachteil dieses Ansatzes besteht darin, dass er f\u00fcr eine so gro\u00dfe Anzahl von Modellen geeignet sein muss, dass er ineffizient und rechenintensiv werden kann.<\/span><\/p>\n Wiederholter k-facher Kreuzvalidierungsansatz<\/span><\/strong><\/h2>\n Wir k\u00f6nnen eine wiederholte k-fache Kreuzvalidierung<\/strong> durchf\u00fchren, indem wir einfach mehrmals eine k-fache Kreuzvalidierung durchf\u00fchren. Der endg\u00fcltige Fehler ist der durchschnittliche Fehler der<\/span> Anzahl der Wiederholungen.<\/span><\/p>\n Das folgende Beispiel f\u00fchrt eine f\u00fcnffache Kreuzvalidierung durch, die viermal wiederholt wird:<\/span><\/p>\n #load dplyr<\/em> library used for data manipulation\n<\/span>library(dplyr)\n\n#load caret<\/em> library used for partitioning data into training and test set\n<\/span>library(caret)\n\n#make this example reproducible\n<\/span>set.seed(0)\n\n#define the dataset\n<\/span>data <- mtcars[, c(\"mpg\", \"disp\", \"hp\", \"drat\")]\n\n#define the number of subsets to use and number of times to repeat k-fold CV\n<\/span>train_control <- trainControl(method = \"repeatedcv\", number = 5, repeats = 4<\/span> )\n\n#train the model\n<\/span>model <- train(mpg ~ ., data = data, method = \"lm\", trControl = train_control)\n\n#summarize the results\n<\/span>print(model)\n\n#Linear Regression \n#\n#32 samples\n#3 predictor\n#\n#No pre-processing\n#Resampling: Cross-Validated (5 fold, repeated 4 times) \n#Summary of sample sizes: 26, 25, 26, 25, 26, 25, ... \n#Resampling results:\n#\n# RMSE Rsquared MAE \n#3.176339 0.7909337 2.559131\n#\n#Tuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n Vor- und Nachteile dieses Ansatzes<\/strong><\/span><\/h3>\n Der Vorteil des Ansatzes der wiederholten k-fachen Kreuzvalidierung besteht darin, dass die Daten bei jeder Wiederholung in leicht unterschiedliche Teilmengen aufgeteilt werden, was zu einer noch unvoreingenommeneren Sch\u00e4tzung des Vorhersagefehlers des Modells f\u00fchren sollte. Der Nachteil dieses Ansatzes besteht darin, dass er rechenintensiv sein kann, da wir den Modellanpassungsprozess mehrmals wiederholen m\u00fcssen.<\/span><\/p>\n