Die gebr\u00e4uchlichste Methode zur Messung ist die Verwendung des mittleren quadratischen Fehlers (MSE), der wie folgt berechnet wird:<\/span><\/p>\n MSE = (1\/n)*\u03a3(y i<\/sub> \u2013 f(x i<\/sub> )) 2<\/sup><\/span><\/p>\n Gold:<\/span><\/p>\n Je n\u00e4her die Modellvorhersagen an den Beobachtungen liegen, desto niedriger ist der MSE.<\/span><\/p>\n In der Praxis verwenden wir den folgenden Prozess, um den MSE eines bestimmten Modells zu berechnen:<\/span><\/p>\n 1.<\/strong> Teilen Sie einen Datensatz in einen Trainingssatz und einen Testsatz auf.<\/span><\/p>\n 2.<\/strong> Erstellen Sie das Modell nur unter Verwendung der Daten aus dem Trainingssatz.<\/span><\/p>\n 3.<\/strong> Verwenden Sie das Modell, um Vorhersagen \u00fcber den Testsatz zu treffen und den MSE des Tests zu messen.<\/span><\/p>\n MSE-Tests geben uns eine Vorstellung davon, wie gut ein Modell mit Daten umgeht, die es zuvor noch nicht gesehen hat. Der Nachteil der Verwendung eines einzelnen Testsatzes besteht jedoch darin, dass der MSE-Test je nach den in den Trainings- und Tests\u00e4tzen verwendeten Beobachtungen erheblich variieren kann.<\/span><\/p>\n Eine M\u00f6glichkeit, dieses Problem zu vermeiden, besteht darin, ein Modell mehrmals mit jeweils einem anderen Trainings- und Testsatz anzupassen und dann den Test-MSE als Durchschnitt aller Test-MSE zu berechnen.<\/span><\/p>\n Diese allgemeine Methode ist als Kreuzvalidierung bekannt und eine spezielle Form davon ist als k-fache Kreuzvalidierung<\/b> bekannt.<\/span><\/p>\n Die K-fache Kreuzvalidierung<\/strong> verwendet den folgenden Ansatz zur Bewertung eines Modells:<\/span><\/p>\n Schritt 1: Teilen Sie einen Datensatz zuf\u00e4llig in k<\/em> Gruppen oder \u201eFaltungen\u201c von ungef\u00e4hr gleicher Gr\u00f6\u00dfe auf.<\/strong><\/span> <\/p>\n Schritt 2: W\u00e4hlen Sie eine der Falten als Halteset. Passen Sie die Schablone an die verbleibenden K-1-Falten an. Berechnen Sie den MSE-Test anhand der Beobachtungen in der gespannten Lage.<\/strong><\/span> <\/p>\n Schritt 3: Wiederholen Sie diesen Vorgang k<\/em> -mal, wobei Sie jedes Mal einen anderen Satz als Ausschlusssatz verwenden.<\/strong><\/span> <\/p>\n Schritt 4: Berechnen Sie den Gesamt-MSE des Tests als Durchschnitt der k<\/em> MSE des Tests.<\/strong><\/span><\/p>\n Test MSE = (1\/k)*\u03a3MSE i<\/sub><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Im Allgemeinen gilt: Je mehr Falten wir bei der k-fachen Kreuzvalidierung verwenden, desto geringer ist die MSE-Testverzerrung, aber desto h\u00f6her ist die Varianz. Umgekehrt gilt: Je weniger Falten wir verwenden, desto h\u00f6her ist die Verzerrung, aber desto geringer ist die Varianz. Dies ist ein klassisches Beispiel f\u00fcr den Bias-Varianz-Kompromiss<\/a> beim maschinellen Lernen.<\/span><\/p>\n In der Praxis verwenden wir im Allgemeinen zwischen 5 und 10 Lagen. Wie in \u201eAn Introduction to Statistical Learning\u201c<\/em> erw\u00e4hnt,<\/a> bietet diese Anzahl von Falten nachweislich ein optimales Gleichgewicht zwischen Bias und Varianz und liefert somit zuverl\u00e4ssige Sch\u00e4tzungen des MSE des Tests:<\/span><\/p>\n Zusammenfassend l\u00e4sst sich sagen, dass mit der Wahl von k bei der k-fachen Kreuzvalidierung ein Bias-Varianz-Kompromiss verbunden ist.<\/span><\/p>\n Unter Ber\u00fccksichtigung dieser \u00dcberlegungen f\u00fchrt man typischerweise eine k-fache Kreuzvalidierung mit k = 5 oder k = 10 durch, da empirisch gezeigt wurde, dass diese Werte Sch\u00e4tzungen der Testfehlerrate liefern, die weder eine \u00fcberm\u00e4\u00dfig hohe Verzerrung noch eine sehr hohe Varianz aufweisen.<\/span><\/p>\n -Seite 184, Eine Einf\u00fchrung in das statistische Lernen<\/em><\/span><\/p>\n<\/blockquote>\n Wenn wir einen Datensatz in einen einzelnen Trainingssatz und einen einzelnen Testsatz aufteilen, kann der anhand der Beobachtungen im Testsatz berechnete Test-MSE je nach den in den Trainings- und Tests\u00e4tzen verwendeten Beobachtungen erheblich variieren.<\/span><\/p>\n Mithilfe der k-fachen Kreuzvalidierung k\u00f6nnen wir den MSE-Test mithilfe verschiedener Variationen von Trainings- und Tests\u00e4tzen berechnen. Dies gibt uns eine viel gr\u00f6\u00dfere Chance, eine unvoreingenommene Sch\u00e4tzung des MSE des Tests zu erhalten.<\/span><\/p>\n Die K-fache Kreuzvalidierung bietet auch einen Rechenvorteil gegen\u00fcber der Leave-One-Out-Kreuzvalidierung (LOOCV),<\/a> da sie nur k<\/em> -mal statt n-<\/em> mal an ein Modell angepasst werden muss.<\/span><\/p>\n Bei Modellen, deren Anpassung lange dauert, kann die k-fache Kreuzvalidierung den Test-MSE viel schneller berechnen als LOOCV, und in vielen F\u00e4llen ist der von jedem Ansatz berechnete Test-MSE ziemlich \u00e4hnlich, wenn Sie eine ausreichende Anzahl von Falten verwenden.<\/span><\/p>\n Es gibt mehrere Erweiterungen der k-fachen Kreuzvalidierung, darunter:<\/span><\/p>\n Wiederholte k-fache Kreuzvalidierung:<\/strong> Hier wird die k-fache Kreuzvalidierung einfach n-<\/em> mal wiederholt. Immer wenn die Trainings- und Tests\u00e4tze gemischt werden, wird die Verzerrung in der Test-MSE-Sch\u00e4tzung weiter reduziert, obwohl dies l\u00e4nger dauert als die normale k-fache Kreuzvalidierung.<\/span><\/p>\n Leave-One-Out-Kreuzvalidierung:<\/strong> Dies ist ein Sonderfall der k-fachen Kreuzvalidierung, bei der k<\/em> = n<\/em> ist. Mehr \u00fcber diese Methode erfahren Sie hier<\/a> .<\/span><\/p>\n\n
K-Fold-Kreuzvalidierung<\/strong><\/span><\/h3>\n
![\"Teilen](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold1.png\")
<\/p>\n![\"k-fache](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold2.png\")
<\/p>\n![\"Beispiel](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/kfold3.png\")
<\/p>\n\n
So w\u00e4hlen Sie K aus<\/strong><\/span><\/h3>\n
\n
Vorteile der K-Fold-Kreuzvalidierung<\/strong><\/span><\/h3>\n
K-Fold-Kreuzvalidierungserweiterungen<\/strong><\/span><\/h3>\n