Wenn die Beziehung jedoch komplexer ist, m\u00fcssen wir h\u00e4ufig auf nichtlineare Methoden zur\u00fcckgreifen.<\/span><\/p>\n Eine dieser Methoden sind Klassifizierungs- und Regressionsb\u00e4ume<\/a> (oft als CART abgek\u00fcrzt), die mithilfe einer Reihe von Pr\u00e4diktorvariablen Entscheidungsb\u00e4ume<\/em> erstellen, die den Wert einer Antwortvariablen vorhersagen.<\/span> <\/p>\n Der Nachteil von CART-Modellen besteht jedoch darin, dass sie tendenziell unter einer hohen Varianz<\/a> leiden. Das hei\u00dft, wenn wir einen Datensatz in zwei H\u00e4lften aufteilen und einen Entscheidungsbaum auf beide H\u00e4lften anwenden, k\u00f6nnten die Ergebnisse sehr unterschiedlich ausfallen.<\/span><\/p>\n Eine Methode, mit der wir die Varianz von CART-Modellen reduzieren k\u00f6nnen, ist das sogenannte Bagging<\/strong> , manchmal auch Bootstrap-Aggregation<\/em> genannt.<\/span><\/p>\n Wenn wir einen einzelnen Entscheidungsbaum erstellen, verwenden wir nur einen Satz Trainingsdaten, um das Modell zu erstellen.<\/span><\/p>\n Beim Einpacken<\/strong> wird jedoch die folgende Methode verwendet:<\/span><\/p>\n 1.<\/strong> Nehmen Sie b<\/em> Bootstrapping-Beispiele aus dem Originaldatensatz.<\/span><\/p>\n 2.<\/strong> Erstellen Sie einen Entscheidungsbaum f\u00fcr jedes Bootstrap-Beispiel.<\/span><\/p>\n 3.<\/strong> Mitteln Sie die Vorhersagen jedes Baums, um ein endg\u00fcltiges Modell zu erhalten.<\/span><\/p>\n Bagging kann mit jedem Algorithmus f\u00fcr maschinelles Lernen verwendet werden, ist jedoch besonders n\u00fctzlich f\u00fcr Entscheidungsb\u00e4ume, da diese von Natur aus eine hohe Varianz aufweisen und Bagging die Varianz erheblich reduzieren kann, was zu weniger Testfehlern f\u00fchrt.<\/span><\/p>\n Um Entscheidungsb\u00e4ume mit Beuteln zu versehen, lassen wir einzelne B\u00e4ume in der Tiefe wachsen<\/em> , ohne sie zu beschneiden. Dies f\u00fchrt zu einzelnen B\u00e4umen mit hoher Varianz, aber geringer Verzerrung. Wenn wir dann die durchschnittlichen Vorhersagen dieser B\u00e4ume heranziehen, k\u00f6nnen wir die Varianz reduzieren.<\/span><\/p>\n In der Praxis wird die optimale Leistung normalerweise mit 50 bis 500 B\u00e4umen erreicht, es ist jedoch m\u00f6glich, Tausende von B\u00e4umen anzupassen, um ein endg\u00fcltiges Modell zu erstellen.<\/span><\/p>\n Bedenken Sie jedoch, dass das Anpassen weiterer B\u00e4ume mehr Rechenleistung erfordert, was je nach Gr\u00f6\u00dfe des Datensatzes ein Problem darstellen kann oder auch nicht.<\/span><\/p>\n Es stellt sich heraus, dass wir den Testfehler eines verpackten Modells berechnen k\u00f6nnen, ohne uns auf eine k-fache Kreuzvalidierung<\/a> zu verlassen.<\/span><\/p>\n Der Grund daf\u00fcr ist, dass jede Bootstrap-Stichprobe nachweislich etwa zwei Drittel der Beobachtungen aus dem Originaldatensatz enth\u00e4lt. Das verbleibende Drittel der Beobachtungen, die nicht zur Anpassung an den verpackten Baum verwendet werden, werden als Out-of-Bag-Beobachtungen (OOB)<\/strong> bezeichnet.<\/span><\/p>\n Wir k\u00f6nnen den Wert der i-ten Beobachtung im Originaldatensatz vorhersagen, indem wir die durchschnittliche Vorhersage von jedem der B\u00e4ume nehmen, in denen diese Beobachtung OOB war.<\/span><\/p>\n Mit diesem Ansatz k\u00f6nnen wir eine Vorhersage f\u00fcr alle n<\/em> Beobachtungen im Originaldatensatz treffen und so eine Fehlerrate berechnen, die eine g\u00fcltige Sch\u00e4tzung des Testfehlers darstellt.<\/span><\/p>\n Der Vorteil dieses Ansatzes zur Sch\u00e4tzung des Testfehlers besteht darin, dass er viel schneller ist als die k-fache Kreuzvalidierung, insbesondere wenn der Datensatz gro\u00df ist.<\/span><\/p>\n Denken Sie daran, dass einer der Vorteile von Entscheidungsb\u00e4umen darin besteht, dass sie leicht zu interpretieren und zu visualisieren sind.<\/span><\/p>\n Wenn wir stattdessen das Bagging verwenden, k\u00f6nnen wir einen einzelnen Baum nicht mehr interpretieren oder visualisieren, da das endg\u00fcltige Bagging-Modell das Ergebnis der Mittelung vieler verschiedener B\u00e4ume ist. Wir gewinnen an Vorhersagegenauigkeit auf Kosten der Interpretierbarkeit.<\/span><\/p>\n Wir k\u00f6nnen jedoch immer noch die Bedeutung jeder Pr\u00e4diktorvariablen verstehen, indem wir die Gesamtreduzierung des RSS (Restsumme der Quadrate) aufgrund der Verteilung \u00fcber einen bestimmten Pr\u00e4diktor, gemittelt \u00fcber alle B-<\/em> B\u00e4ume, berechnen. Je gr\u00f6\u00dfer der Wert, desto wichtiger ist der Pr\u00e4diktor.<\/span> <\/p>\n In \u00e4hnlicher Weise k\u00f6nnen wir f\u00fcr Klassifizierungsmodelle die gesamte Reduzierung des Gini-Index aufgrund der Verteilung \u00fcber einen bestimmten Pr\u00e4diktor berechnen, gemittelt \u00fcber alle B<\/em> -B\u00e4ume. Je gr\u00f6\u00dfer der Wert, desto wichtiger ist der Pr\u00e4diktor.<\/span><\/p>\n Auch wenn wir das endg\u00fcltige Gesamtmodell nicht genau interpretieren k\u00f6nnen, k\u00f6nnen wir uns dennoch ein Bild davon machen, wie wichtig jede Pr\u00e4diktorvariable bei der Vorhersage der Reaktion ist.<\/span><\/p>\n Der Vorteil des Bagging besteht darin, dass es im Allgemeinen zu einer Verbesserung der Testfehlerrate im Vergleich zu einem einzelnen Entscheidungsbaum f\u00fchrt.<\/span><\/p>\n Der Nachteil besteht darin, dass Vorhersagen aus der Sammlung verpackter B\u00e4ume stark korrelieren k\u00f6nnen, wenn der Datensatz einen sehr starken Pr\u00e4diktor enth\u00e4lt.<\/span><\/p>\n In diesem Fall verwenden die meisten oder alle eingesackten B\u00e4ume diesen Pr\u00e4diktor f\u00fcr die erste Aufteilung, was zu B\u00e4umen f\u00fchrt, die einander \u00e4hnlich sind und stark korrelierte Vorhersagen aufweisen.<\/span><\/p>\n Eine M\u00f6glichkeit, dieses Problem zu umgehen, besteht darin, zuf\u00e4llige W\u00e4lder zu verwenden, die eine \u00e4hnliche Methode wie das Einsacken verwenden, aber in der Lage sind, dekorierte B\u00e4ume zu produzieren, was h\u00e4ufig zu geringeren Testfehlerraten f\u00fchrt.<\/span><\/p>\n Eine einfache Einf\u00fchrung in Random Forests k\u00f6nnen Sie hier<\/a> lesen.<\/span><\/p>\n Eine Einf\u00fchrung in Klassifizierungs- und Regressionsb\u00e4ume<\/a> Wenn die Beziehung zwischen einer Reihe von Pr\u00e4diktorvariablen und einer Antwortvariablen linear ist, k\u00f6nnen wir Methoden wie die multiple lineare Regression verwenden, um die Beziehung zwischen den Variablen zu modellieren. Wenn die Beziehung jedoch komplexer ist, m\u00fcssen wir h\u00e4ufig auf nichtlineare Methoden zur\u00fcckgreifen. Eine dieser Methoden sind Klassifizierungs- und Regressionsb\u00e4ume (oft als CART abgek\u00fcrzt), die […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n![\"\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/arbre3.png\")
Was ist Absacken?<\/strong><\/span><\/h3>\n
\n
\n
Sch\u00e4tzung von Out-of-Bag-Fehlern<\/strong><\/span><\/h3>\n
Die Bedeutung von Pr\u00e4diktoren verstehen<\/strong><\/span><\/h3>\n
![\"Variable](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/sac1.png\")
Gehen Sie \u00fcber das Einpacken hinaus<\/strong><\/span><\/h3>\n
Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h3>\n
So f\u00fchren Sie das Bagging in R durch (Schritt f\u00fcr Schritt)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"