<\/p>\n
Um die Leistung eines Modells anhand eines Datensatzes zu bewerten, m\u00fcssen wir messen, wie gut die vom Modell gemachten Vorhersagen mit den beobachteten Daten \u00fcbereinstimmen.<\/span><\/p>\n Eine hierf\u00fcr h\u00e4ufig verwendete Methode ist die sogenannte Leave-One-Out Cross-Validation (LOOCV)<\/a> , die den folgenden Ansatz verwendet:<\/span><\/p>\n 1.<\/strong> Teilen Sie einen Datensatz in einen Trainingssatz und einen Testsatz auf und verwenden Sie dabei alle Beobachtungen bis auf eine als Teil des Trainingssatzes.<\/span><\/p>\n 2.<\/strong> Erstellen Sie ein Modell, das nur Daten aus dem Trainingssatz verwendet.<\/span><\/p>\n 3.<\/strong> Verwenden Sie das Modell, um den Antwortwert der vom Modell ausgeschlossenen Beobachtung vorherzusagen und den mittleren quadratischen Fehler (MSE) zu berechnen.<\/span><\/p>\n 4.<\/strong> Wiederholen Sie diesen Vorgang n<\/em> -mal. Berechnen Sie den Test-MSE als Durchschnitt aller Test-MSE.<\/span><\/p>\n Dieses Tutorial bietet ein schrittweises Beispiel f\u00fcr die Ausf\u00fchrung von LOOCV f\u00fcr ein bestimmtes Modell in Python.<\/span><\/p>\n Zuerst laden wir die f\u00fcr dieses Beispiel ben\u00f6tigten Funktionen und Bibliotheken:<\/span><\/p>\n Als N\u00e4chstes erstellen wir einen Pandas-DataFrame, der zwei Pr\u00e4diktorvariablen x1<\/sub> und x2<\/sub> sowie eine einzelne Antwortvariable y enth\u00e4lt.<\/span><\/p>\n Als N\u00e4chstes passen wir ein multiples lineares Regressionsmodell<\/a> an den Datensatz an und f\u00fchren LOOCV durch, um die Leistung des Modells zu bewerten.<\/span><\/p>\n Aus dem Ergebnis k\u00f6nnen wir ersehen, dass der mittlere absolute Fehler (MAE) 3,146<\/strong> betrug. Das hei\u00dft, der durchschnittliche absolute Fehler zwischen der Modellvorhersage und den tats\u00e4chlich beobachteten Daten betr\u00e4gt 3,146.<\/span><\/p>\n Im Allgemeinen gilt: Je niedriger der MAE, desto besser kann ein Modell tats\u00e4chliche Beobachtungen vorhersagen.<\/span><\/p>\n Eine weitere h\u00e4ufig verwendete Metrik zur Bewertung der Modellleistung ist der quadratische Mittelfehler (Root Mean Square Error, RMSE). Der folgende Code zeigt, wie diese Metrik mithilfe von LOOCV berechnet wird:<\/span><\/p>\n Aus dem Ergebnis k\u00f6nnen wir ersehen, dass der quadratische Mittelfehler (RMSE) 3,619<\/strong> betrug. Je niedriger der RMSE, desto besser kann ein Modell tats\u00e4chliche Beobachtungen vorhersagen.<\/span><\/p>\n In der Praxis passen wir in der Regel mehrere unterschiedliche Modelle an und vergleichen den RMSE oder MAE jedes Modells, um zu entscheiden, welches Modell die niedrigsten Testfehlerraten erzeugt und daher das beste zu verwendende Modell ist.<\/span><\/p>\n Eine kurze Einf\u00fchrung in die Leave-One-Out-Kreuzvalidierung (LOOCV)<\/a> Um die Leistung eines Modells anhand eines Datensatzes zu bewerten, m\u00fcssen wir messen, wie gut die vom Modell gemachten Vorhersagen mit den beobachteten Daten \u00fcbereinstimmen. Eine hierf\u00fcr h\u00e4ufig verwendete Methode ist die sogenannte Leave-One-Out Cross-Validation (LOOCV) , die den folgenden Ansatz verwendet: 1. Teilen Sie einen Datensatz in einen Trainingssatz und einen Testsatz auf und […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n Schritt 1: Laden Sie die erforderlichen Bibliotheken<\/strong><\/span><\/h3>\n
from<\/span> sklearn. model_selection<\/span> import<\/span> train_test_split\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> LeaveOneOut\nfrom<\/span> sklearn. model_selection<\/span> import<\/span> cross_val_score\nfrom<\/span> sklearn. linear_model<\/span> import<\/span> LinearRegression\nfrom<\/span> numpy import<\/span> means\nfrom<\/span> numpy import<\/span> absolute\nfrom<\/span> numpy import<\/span> sqrt\nimport<\/span> pandas as<\/span> pd\n<\/strong><\/span><\/pre>\n Schritt 2: Erstellen Sie die Daten<\/strong><\/span><\/h3>\n
df = pd.DataFrame({' y<\/span> ': [6, 8, 12, 14, 14, 15, 17, 22, 24, 23],\n ' x1<\/span> ': [2, 5, 4, 3, 4, 6, 7, 5, 8, 9],\n ' x2<\/span> ': [14, 12, 12, 13, 7, 8, 7, 4, 6, 5]})\n<\/strong><\/span><\/pre>\n Schritt 3: F\u00fchren Sie eine Leave-One-Out-Kreuzvalidierung durch<\/strong><\/span><\/h3>\n
#define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv = LeaveOneOut()\n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use LOOCV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_absolute_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view mean absolute error\n<\/span>mean(absolute(scores))\n\n3.1461548083469726\n<\/strong><\/span><\/pre>\n #define predictor and response variables\n<\/span>X = df[[' x1<\/span> ', ' x2<\/span> ']]\ny = df[' y<\/span> ']\n\n#define cross-validation method to use\n<\/span>cv = LeaveOneOut()\n\n#build multiple linear regression model\n<\/span>model = LinearRegression()\n\n#use LOOCV to evaluate model\n<\/span>scores = cross_val_score(model, X, y, scoring=' neg_mean_squared_error<\/span> ',\n cv=cv, n_jobs=-1)\n\n#view RMSE\n<\/span>sqrt(mean(absolute(scores)))\n\n3.619456476385567<\/strong><\/span><\/pre>\n Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h3>\n
Eine vollst\u00e4ndige Anleitung zur linearen Regression in Python<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"