<\/p>\n
Um zu beurteilen, wie gut ein Modell in einen Datensatz passt, m\u00fcssen wir seine Leistung anhand von Beobachtungen analysieren, die es noch nie zuvor gesehen hat.<\/span><\/p>\n Eine der gebr\u00e4uchlichsten Methoden, dies zu erreichen, ist die k-fache Kreuzvalidierung<\/a> , die den folgenden Ansatz verwendet:<\/span><\/p>\n 1.<\/strong> Teilen Sie einen Datensatz zuf\u00e4llig in k<\/em> Gruppen oder \u201eFaltungen\u201c von ungef\u00e4hr gleicher Gr\u00f6\u00dfe auf.<\/span><\/p>\n 2.<\/strong> W\u00e4hlen Sie eine der Falten als R\u00fcckhalteset. Passen Sie die Schablone an die verbleibenden K-1-Falten an. Berechnen Sie den MSE-Test anhand der Beobachtungen in der gespannten Lage.<\/span><\/p>\n 3.<\/strong> Wiederholen Sie diesen Vorgang k<\/em> -mal, wobei Sie jedes Mal einen anderen Satz als Ausschlusssatz verwenden.<\/span><\/p>\n 4.<\/strong> Berechnen Sie den Gesamttest-MSE als Durchschnitt der k<\/em> Test-MSEs.<\/span><\/p>\n Der einfachste Weg, eine k-fache Kreuzvalidierung in R durchzuf\u00fchren, ist die Verwendung der Funktionen trainControl()<\/strong> und train()<\/strong> aus der Caret-<\/strong> Bibliothek in R.<\/span><\/p>\n Die Funktion trainControl()<\/strong> wird verwendet, um die Trainingsparameter anzugeben (z. B. Art der zu verwendenden Kreuzvalidierung, Anzahl der zu verwendenden Falten usw.), und die Funktion train()<\/strong> wird verwendet, um das Modell tats\u00e4chlich an die Daten anzupassen. .<\/span><\/p>\n Das folgende Beispiel zeigt, wie man die Funktionen trainControl()<\/strong> und train()<\/strong> in der Praxis nutzt.<\/span><\/p>\n Angenommen, wir haben den folgenden Datensatz in R:<\/span><\/p>\n Angenommen, wir verwenden die Funktion lm()<\/a> , um ein multiples lineares Regressionsmodell<\/a> an diesen Datensatz anzupassen, wobei wir x1<\/strong> und x2<\/strong> als Pr\u00e4diktorvariablen und y<\/strong> als Antwortvariable verwenden:<\/span><\/p>\n Mithilfe der Koeffizienten in der Modellausgabe k\u00f6nnen wir das angepasste Regressionsmodell schreiben:<\/span><\/p>\n y = 21,2672 + 0,7803*(x 1<\/sub> ) \u2013 1,1253(x 2<\/sub> )<\/strong><\/span><\/p>\n Um eine Vorstellung davon zu bekommen, wie gut dieses Modell bei unbekannten Beobachtungen<\/a> abschneidet, k\u00f6nnen wir eine k-fache Kreuzvalidierung verwenden.<\/span><\/p>\n Der folgende Code zeigt, wie Sie die trainControl()-<\/strong> Funktion des Caret-<\/strong> Pakets verwenden, um eine k-fache Kreuzvalidierung ( method=“cv“<\/strong> ) anzugeben, die 5 Falten ( number=5<\/strong> ) verwendet.<\/span><\/p>\n Anschlie\u00dfend \u00fcbergeben wir diese trainControl()<\/strong> -Funktion an die train()-<\/strong> Funktion, um tats\u00e4chlich die k-fache Kreuzvalidierung durchzuf\u00fchren:<\/span><\/p>\n Aus dem Ergebnis k\u00f6nnen wir ersehen, dass das Modell f\u00fcnfmal<\/strong> mit einer Stichprobengr\u00f6\u00dfe von jeweils acht<\/strong> Beobachtungen angepasst wurde.<\/span><\/p>\n Jedes Mal wurde das Modell dann verwendet, um die Werte der beiden<\/strong> gespeicherten Beobachtungen vorherzusagen, und jedes Mal wurden die folgenden Metriken berechnet:<\/span><\/p>\n Im Ergebnis wird der Durchschnitt der RMSE- und MAE-Werte der f\u00fcnf Komponenten angezeigt:<\/span><\/p>\n Diese Metriken geben uns eine Vorstellung von der Leistung des Modells bei neuen Daten.<\/span><\/p>\n In der Praxis passen wir normalerweise mehrere verschiedene Modelle an und vergleichen diese Metriken, um festzustellen, welches Modell bei unsichtbaren Daten am besten abschneidet.<\/span><\/p>\n Beispielsweise k\u00f6nnten wir ein polynomiales Regressionsmodell<\/a> anpassen und eine K-fache Kreuzvalidierung durchf\u00fchren, um zu sehen, wie die RMSE- und MAE-Metriken im Vergleich zum multiplen linearen Regressionsmodell abschneiden.<\/span><\/p>\n Hinweis Nr. 1:<\/strong> In diesem Beispiel verwenden wir k=5 Falten, Sie k\u00f6nnen jedoch eine beliebige Anzahl von Falten ausw\u00e4hlen. In der Praxis w\u00e4hlen wir typischerweise zwischen 5 und 10 Lagen, da sich dies als die optimale Lagenzahl erweist, die zu zuverl\u00e4ssigen Testfehlerraten f\u00fchrt.<\/span><\/p>\n Hinweis Nr. 2<\/strong> : Die Funktion trainControl()<\/strong> akzeptiert viele m\u00f6gliche Argumente. Die vollst\u00e4ndige Dokumentation zu dieser Funktion finden Sie hier<\/a> .<\/span><\/p>\n Die folgenden Tutorials bieten zus\u00e4tzliche Informationen zu Trainingsmodellen:<\/span><\/p>\n Einf\u00fchrung in die K-Fold-Kreuzvalidierung<\/a> Um zu beurteilen, wie gut ein Modell in einen Datensatz passt, m\u00fcssen wir seine Leistung anhand von Beobachtungen analysieren, die es noch nie zuvor gesehen hat. Eine der gebr\u00e4uchlichsten Methoden, dies zu erreichen, ist die k-fache Kreuzvalidierung , die den folgenden Ansatz verwendet: 1. Teilen Sie einen Datensatz zuf\u00e4llig in k Gruppen oder \u201eFaltungen\u201c von […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n Beispiel: Verwendung von trainControl() in R<\/strong><\/span><\/h2>\n
#create data frame<\/span>\ndf <- data.frame(y=c(6, 8, 12, 14, 14, 15, 17, 22, 24, 23),\n x1=c(2, 5, 4, 3, 4, 6, 7, 5, 8, 9),\n x2=c(14, 12, 12, 13, 7, 8, 7, 4, 6, 5))\n\n#view data frame\n<\/span>df\n\ny x1 x2\n6 2 14\n8 5 12\n12 4 12\n14 3 13\n14 4 7\n15 6 8\n17 7 7\n22 5 4\n24 8 6\n23 9 5\n<\/strong><\/pre>\n #fit multiple linear regression model to data<\/span>\nfit <- lm(y ~ x1 + x2, data=df)\n\n#view model summary\n<\/span>summary(fit)\n\nCall:\nlm(formula = y ~ x1 + x2, data = df)\n\nResiduals:\n Min 1Q Median 3Q Max \n-3.6650 -1.9228 -0.3684 1.2783 5.0208 \n\nCoefficients:\n Estimate Std. Error t value Pr(>|t|) \n(Intercept) 21.2672 6.9927 3.041 0.0188 *\nx1 0.7803 0.6942 1.124 0.2981 \nx2 -1.1253 0.4251 -2.647 0.0331 *\n---\nSignificant. codes: 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1\n\nResidual standard error: 3.093 on 7 degrees of freedom\nMultiple R-squared: 0.801, Adjusted R-squared: 0.7441 \nF-statistic: 14.09 on 2 and 7 DF, p-value: 0.003516\n<\/strong><\/pre>\n library<\/span> (caret)<\/span>\n\n#specify the cross-validation method<\/span>\nctrl <- trainControl(method = \" cv<\/span> \", number = 5<\/span> )\n\n#fit a regression model and use k-fold CV to evaluate performance\n<\/span>model <- train(y ~ x1 + x2, data = df, method = \" lm<\/span> \", trControl = ctrl)\n\n#view summary of k-fold CV \n<\/span>print<\/span> (model)\n\nLinear Regression \n\n10 samples\n 2 predictors\n\nNo pre-processing\nResampling: Cross-Validated (5 fold) \nSummary of sample sizes: 8, 8, 8, 8, 8 \nResampling results:\n\n RMSE Rsquared MAE \n 3.612302 1 3.232153\n\nTuning parameter 'intercept' was held constant at a value of TRUE\n<\/strong><\/pre>\n\n
\n
Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h2>\n
Einf\u00fchrung in die Leave-One-Out-Kreuzvalidierung<\/a>
Was ist \u00dcberanpassung beim maschinellen Lernen?<\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"