Angenommen, wir m\u00f6chten ein Regressionsmodell<\/a> erstellen, das die Pr\u00e4diktorvariable Lernstunden<\/em> verwendet, um den ACT-Score<\/em> der Antwortvariable f\u00fcr Oberstufensch\u00fcler vorherzusagen.<\/span><\/p>\n Um dieses Modell zu erstellen, sammeln wir Daten \u00fcber die Lernstunden und den entsprechenden ACT-Score f\u00fcr Hunderte von Sch\u00fclern in einem bestimmten Schulbezirk.<\/span><\/p>\n Anschlie\u00dfend werden wir diese Daten verwenden, um ein Modell zu trainieren<\/em> , das Vorhersagen \u00fcber die Punktzahl treffen kann, die ein bestimmter Sch\u00fcler basierend auf der Gesamtzahl der gelernten Stunden erhalten wird.<\/span><\/p>\n Um den Nutzen des Modells zu beurteilen, k\u00f6nnen wir messen, wie gut die Vorhersagen des Modells mit den beobachteten Daten \u00fcbereinstimmen. Eine der am h\u00e4ufigsten verwendeten Metriken hierf\u00fcr ist der mittlere quadratische Fehler (MSE), der wie folgt berechnet wird:<\/span><\/p>\n MSE = (1\/n)*\u03a3(y i<\/sub> \u2013 f(x i<\/sub> )) 2<\/sup><\/span><\/p>\n Gold:<\/span><\/p>\n Je n\u00e4her die Modellvorhersagen an den Beobachtungen liegen, desto niedriger ist der MSE.<\/span><\/p>\n Einer der gr\u00f6\u00dften Fehler beim maschinellen Lernen besteht jedoch darin, Modelle zu optimieren, um den Trainings-MSE<\/strong> zu reduzieren, d. h. wie gut die Modellvorhersagen mit den Daten \u00fcbereinstimmen, die wir zum Trainieren des Modells verwendet haben.<\/span><\/p>\n Wenn sich ein Modell zu sehr auf die Reduzierung des Trainings-MSE konzentriert, arbeitet es oft zu sehr daran, Muster in den Trainingsdaten zu finden, die einfach durch Zufall verursacht werden. Wenn das Modell dann auf unsichtbare Daten angewendet wird, ist seine Leistung schlecht.<\/span><\/p>\n Dieses Ph\u00e4nomen wird als \u00dcberanpassung<\/strong> bezeichnet. Dies geschieht, wenn wir ein Modell zu eng an die Trainingsdaten \u201eanpassen\u201c und so am Ende ein Modell erstellen, das f\u00fcr Vorhersagen auf neuen Daten nicht n\u00fctzlich ist.<\/span><\/p>\n Um die \u00dcberanpassung zu verstehen, kehren wir zum Beispiel der Erstellung eines Regressionsmodells zur\u00fcck, das stundenlanges Lernen<\/em> nutzt, um den ACT-Score<\/em> vorherzusagen.<\/span><\/p>\n Nehmen wir an, wir sammeln Daten f\u00fcr 100 Sch\u00fcler in einem bestimmten Schulbezirk und erstellen ein schnelles Streudiagramm, um die Beziehung zwischen den beiden Variablen zu veranschaulichen:<\/span> <\/p>\n Die Beziehung zwischen den beiden Variablen scheint quadratisch zu sein. Nehmen wir also an, wir wenden das folgende quadratische Regressionsmodell an:<\/span><\/p>\n Punktzahl = 60,1 + 5,4*(Stunden) \u2013 0,2*(Stunden) 2<\/sup><\/span> <\/p>\n Dieses Modell hat einen mittleren quadratischen Trainingsfehler (MSE) von 3,45<\/strong> . Das hei\u00dft, der quadratische Mittelwert der Differenz zwischen den Vorhersagen des Modells und den tats\u00e4chlichen ACT-Ergebnissen betr\u00e4gt 3,45.<\/span><\/p>\n Wir k\u00f6nnten diese Trainings-MSE jedoch reduzieren, indem wir ein Polynommodell h\u00f6herer Ordnung anpassen. Angenommen, wir wenden das folgende Modell an:<\/span><\/p>\n Punktzahl = 64,3 \u2013 7,1*(Stunden) + 8,1*(Stunden) 2<\/sup> \u2013 2,1*(Stunden) 3<\/sup> + 0,2*(Stunden ) 4 \u2013 0,1*(Stunden) 5<\/sup> +<\/sup> 0,2(Stunden) 6<\/sup><\/span> <\/p>\n Beachten Sie, dass die Regressionslinie viel besser zu den tats\u00e4chlichen Daten passt als die vorherige Regressionslinie.<\/span><\/p>\n Dieses Modell hat einen quadratischen Trainingsfehler (MSE) von nur 0,89<\/strong> . Das hei\u00dft, der quadratische Mittelwert der Differenz zwischen den Vorhersagen des Modells und den tats\u00e4chlichen ACT-Ergebnissen betr\u00e4gt 0,89.<\/span><\/p>\n Dieses MSE-Training ist viel kleiner als das des Vorg\u00e4ngermodells.<\/span><\/p>\n Der Trainings-MSE<\/strong> ist uns jedoch egal, d. h. wie gut die Vorhersagen des Modells mit den Daten \u00fcbereinstimmen, die wir zum Trainieren des Modells verwendet haben. Stattdessen k\u00fcmmern wir uns haupts\u00e4chlich um den MSE-Test<\/strong> \u2013 den MSE, wenn unser Modell auf unsichtbare Daten angewendet wird.<\/span><\/p>\n Wenn wir das obige Polynom-Regressionsmodell h\u00f6herer Ordnung auf einen unbekannten Datensatz anwenden w\u00fcrden, w\u00fcrde es wahrscheinlich schlechter abschneiden als das einfachere quadratische Regressionsmodell. Das hei\u00dft, es w\u00fcrde zu einem h\u00f6heren MSE-Test f\u00fchren, was genau das ist, was wir nicht wollen.<\/span><\/p>\n Der einfachste Weg, eine \u00dcberanpassung zu erkennen, ist die Durchf\u00fchrung einer Kreuzvalidierung. Die am h\u00e4ufigsten verwendete Methode ist die k-fache Kreuzvalidierung<\/a> und funktioniert wie folgt:<\/span><\/p>\n Schritt 1: Teilen Sie einen Datensatz zuf\u00e4llig in k<\/em> Gruppen oder \u201eFaltungen\u201c von ungef\u00e4hr gleicher Gr\u00f6\u00dfe auf.<\/strong><\/span> <\/p>\n Schritt 2: W\u00e4hlen Sie eine der Falten als Halteset. Passen Sie die Schablone an die verbleibenden K-1-Falten an. Berechnen Sie den MSE-Test anhand der Beobachtungen in der gespannten Lage.<\/strong><\/span> <\/p>\n Schritt 3: Wiederholen Sie diesen Vorgang k<\/em> -mal, wobei Sie jedes Mal einen anderen Satz als Ausschlusssatz verwenden.<\/strong><\/span> <\/p>\n Schritt 4: Berechnen Sie den Gesamt-MSE des Tests als Durchschnitt der k<\/em> MSE des Tests.<\/strong><\/span><\/p>\n Test MSE = (1\/k)*\u03a3MSE i<\/sub><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Dieser MSE-Test gibt uns eine gute Vorstellung davon, wie sich ein bestimmtes Modell bei unbekannten Daten verh\u00e4lt.<\/span><\/p>\n In der Praxis k\u00f6nnen wir mehrere verschiedene Modelle anpassen und f\u00fcr jedes Modell eine k-fache Kreuzvalidierung durchf\u00fchren, um seinen MSE-Test herauszufinden. Wir k\u00f6nnen dann das Modell mit dem niedrigsten MSE-Test als bestes Modell f\u00fcr zuk\u00fcnftige Vorhersagen ausw\u00e4hlen.<\/span><\/p>\n Dadurch wird sichergestellt, dass wir ein Modell ausw\u00e4hlen, das bei zuk\u00fcnftigen Daten wahrscheinlich die beste Leistung erbringt, im Gegensatz zu einem Modell, das lediglich die Trainings-MSE minimiert und gut zu historischen Daten \u201epasst\u201c.<\/span><\/p>\n Was ist der Bias-Varianz-Kompromiss beim maschinellen Lernen?<\/a> Beim maschinellen Lernen erstellen wir h\u00e4ufig Modelle, um genaue Vorhersagen \u00fcber bestimmte Ph\u00e4nomene treffen zu k\u00f6nnen. Angenommen, wir m\u00f6chten ein Regressionsmodell erstellen, das die Pr\u00e4diktorvariable Lernstunden verwendet, um den ACT-Score der Antwortvariable f\u00fcr Oberstufensch\u00fcler vorherzusagen. Um dieses Modell zu erstellen, sammeln wir Daten \u00fcber die Lernstunden und den entsprechenden ACT-Score f\u00fcr Hunderte von Sch\u00fclern in […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
Beispiel f\u00fcr \u00dcberanpassung<\/strong><\/span><\/h3>\n
![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage1.png\")
<\/p>\n![\"\u00dcberanpassung](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage2.png\")
<\/p>\n![\"\u00dcberanpassung](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/surapprentissage3.png\")
<\/p>\n So erkennen und vermeiden Sie eine \u00dcberanpassung<\/strong><\/span><\/h3>\n
![\"Teilen](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold1.png\")
<\/p>\n![\"k-fache](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold2.png\")
<\/p>\n![\"Beispiel](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold3.png\")
<\/p>\n\n
Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h3>\n
Eine Einf\u00fchrung in die K-Fold-Kreuzvalidierung<\/a>
Regressions- und Klassifizierungsmodelle im maschinellen Lernen<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"