<\/p>\n
Um die Leistung eines Modells anhand eines Datensatzes zu bewerten, m\u00fcssen wir messen, wie gut die vom Modell gemachten Vorhersagen mit den beobachteten Daten \u00fcbereinstimmen.<\/span><\/p>\n Eine hierf\u00fcr h\u00e4ufig verwendete Methode ist die k-fache Kreuzvalidierung<\/a> , die den folgenden Ansatz verwendet:<\/span><\/p>\n 1.<\/strong> Teilen Sie einen Datensatz zuf\u00e4llig in k<\/em> Gruppen oder \u201eFaltungen\u201c von ungef\u00e4hr gleicher Gr\u00f6\u00dfe auf.<\/span><\/p>\n 2.<\/strong> W\u00e4hlen Sie eine der Falten als R\u00fcckhalteset. Passen Sie die Schablone an die verbleibenden K-1-Falten an. Berechnen Sie den MSE-Test anhand der Beobachtungen in der gespannten Lage.<\/span><\/p>\n 3.<\/strong> Wiederholen Sie diesen Vorgang k<\/em> -mal, wobei Sie jedes Mal einen anderen Satz als Ausschlusssatz verwenden.<\/span><\/p>\n 4.<\/strong> Berechnen Sie den Gesamttest-MSE als Durchschnitt der k<\/em> Test-MSEs.<\/span><\/p>\n Dieses Tutorial bietet ein schrittweises Beispiel f\u00fcr die Durchf\u00fchrung einer k-fachen Kreuzvalidierung f\u00fcr ein bestimmtes Modell in Python.<\/span><\/p>\n Zuerst laden wir die f\u00fcr dieses Beispiel ben\u00f6tigten Funktionen und Bibliotheken:<\/span><\/p>\n Als N\u00e4chstes erstellen wir einen Pandas-DataFrame, der zwei Pr\u00e4diktorvariablen x1<\/sub> und x2<\/sub> sowie eine einzelne Antwortvariable y enth\u00e4lt.<\/span><\/p>\n Als N\u00e4chstes passen wir ein multiples lineares Regressionsmodell<\/a> an den Datensatz an und f\u00fchren LOOCV durch, um die Leistung des Modells zu bewerten.<\/span><\/p>\n Aus dem Ergebnis k\u00f6nnen wir ersehen, dass der mittlere absolute Fehler (MAE) 3,614<\/strong> betrug. Das hei\u00dft, der durchschnittliche absolute Fehler zwischen der Modellvorhersage und den tats\u00e4chlich beobachteten Daten betr\u00e4gt 3,614.<\/span><\/p>\n Im Allgemeinen gilt: Je niedriger der MAE, desto besser kann ein Modell tats\u00e4chliche Beobachtungen vorhersagen.<\/span><\/p>\n Eine weitere h\u00e4ufig verwendete Metrik zur Bewertung der Modellleistung ist der quadratische Mittelfehler (Root Mean Square Error, RMSE). Der folgende Code zeigt, wie diese Metrik mithilfe von LOOCV berechnet wird:<\/span><\/p>\n Aus dem Ergebnis k\u00f6nnen wir ersehen, dass der quadratische Mittelfehler (RMSE) 4,284<\/strong> betrug.<\/span><\/p>\n Je niedriger der RMSE, desto besser kann ein Modell tats\u00e4chliche Beobachtungen vorhersagen.<\/span><\/p>\n In der Praxis passen wir in der Regel mehrere unterschiedliche Modelle an und vergleichen den RMSE oder MAE jedes Modells, um zu entscheiden, welches Modell die niedrigsten Testfehlerraten erzeugt und daher das beste zu verwendende Modell ist.<\/span><\/p>\n Beachten Sie auch, dass wir in diesem Beispiel die Verwendung von k=5 Falten w\u00e4hlen, Sie k\u00f6nnen jedoch eine beliebige Anzahl von Falten ausw\u00e4hlen.<\/span><\/p>\n In der Praxis w\u00e4hlen wir typischerweise zwischen 5 und 10 Lagen, da sich dies als die optimale Lagenzahl erweist, die zu zuverl\u00e4ssigen Testfehlerraten f\u00fchrt.<\/span><\/p>\n Die vollst\u00e4ndige Dokumentation zur KFold()-Funktion von sklearn finden Sie hier<\/a> .<\/em><\/span><\/p>\n Eine Einf\u00fchrung in die K-Fold-Kreuzvalidierung<\/a> Um die Leistung eines Modells anhand eines Datensatzes zu bewerten, m\u00fcssen wir messen, wie gut die vom Modell gemachten Vorhersagen mit den beobachteten Daten \u00fcbereinstimmen. Eine hierf\u00fcr h\u00e4ufig verwendete Methode ist die k-fache Kreuzvalidierung , die den folgenden Ansatz verwendet: 1. Teilen Sie einen Datensatz zuf\u00e4llig in k Gruppen oder \u201eFaltungen\u201c von ungef\u00e4hr gleicher Gr\u00f6\u00dfe […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n Schritt 1: Laden Sie die erforderlichen Bibliotheken<\/strong><\/span><\/h3>\n
from<\/span> sklearn. model_selection<\/span> import<\/span> train_test_split\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> KFold\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> cross_val_score\nfrom<\/span> sklearn. linear_model<\/span> import<\/span> LinearRegression\nfrom<\/span> numpy import<\/span> means\nfrom<\/span> numpy import<\/span> absolute\nfrom<\/span> numpy import<\/span> sqrt\nimport<\/span> pandas as<\/span> pd\n<\/strong><\/span><\/pre>\n Schritt 2: Erstellen Sie die Daten<\/strong><\/span><\/h3>\n
df = pd.DataFrame({' y<\/span> ': [6, 8, 12, 14, 14, 15, 17, 22, 24, 23],\n ' x1<\/span> ': [2, 5, 4, 3, 4, 6, 7, 5, 8, 9],\n ' x2<\/span> ': [14, 12, 12, 13, 7, 8, 7, 4, 6, 5]})\n<\/strong><\/span><\/pre>\n Schritt 3: F\u00fchren Sie eine K-Fold-Kreuzvalidierung durch<\/strong><\/span><\/h3>\n
#define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv<\/span> =<\/span> KFold<\/span> (<\/span> n_splits<\/span> =<\/span> 10<\/span> ,<\/span> random_state<\/span> =<\/span> 1<\/span> ,<\/span> shuffle<\/span> =<\/span> True<\/span> )<\/span>\n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use k-fold CV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_absolute_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view mean absolute error\n<\/span>mean(absolute(scores))\n\n3.6141267491803646\n<\/strong><\/span><\/pre>\n #define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv<\/span> =<\/span> KFold<\/span> (<\/span> n_splits<\/span> =<\/span> 5<\/span> ,<\/span> random_state<\/span> =<\/span> 1<\/span> ,<\/span> shuffle<\/span> =<\/span> True<\/span> )<\/span> \n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use LOOCV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_squared_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view RMSE\n<\/span>sqrt(mean(absolute(scores)))\n\n4.284373111711816<\/strong><\/span><\/pre>\n Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h3>\n
Eine vollst\u00e4ndige Anleitung zur linearen Regression in Python<\/a>
Leave-One-Out-Kreuzvalidierung in Python<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"