<\/p>\n
Eines der h\u00e4ufigsten Probleme beim Erstellen von Modellen ist die Multikollinearit\u00e4t<\/a> . Dies tritt auf, wenn zwei oder mehr Pr\u00e4diktorvariablen in einem Datensatz stark korrelieren.<\/span><\/p>\n Wenn dies geschieht, kann ein bestimmtes Modell m\u00f6glicherweise gut an einen Trainingsdatensatz angepasst werden, bei einem neuen Datensatz, den es noch nie gesehen hat, wird es jedoch wahrscheinlich eine schlechte Leistung erbringen, da es zu stark an<\/a> den Trainingssatz angepasst ist.<\/span><\/p>\n Eine M\u00f6glichkeit, eine \u00dcberanpassung zu vermeiden, besteht darin, eine Teilmengenauswahlmethode<\/strong> zu verwenden, wie zum Beispiel:<\/span><\/p>\n Bei diesen Methoden wird versucht, irrelevante Pr\u00e4diktoren aus dem Modell zu entfernen, sodass im endg\u00fcltigen Modell nur die wichtigsten Pr\u00e4diktoren \u00fcbrig bleiben, die Variationen in der Antwortvariablen vorhersagen k\u00f6nnen.<\/span><\/p>\n Eine andere M\u00f6glichkeit, eine \u00dcberanpassung zu vermeiden, besteht darin, eine Art Regularisierungsmethode<\/strong> zu verwenden, wie zum Beispiel:<\/span><\/p>\n Mit diesen Methoden wird versucht, die Koeffizienten eines Modells einzuschr\u00e4nken oder zu regulieren<\/em> , um die Varianz zu verringern und so Modelle zu erzeugen, die sich gut auf neue Daten \u00fcbertragen lassen.<\/span><\/p>\n Ein v\u00f6llig anderer Ansatz zum Umgang mit Multikollinearit\u00e4t ist die sogenannte Dimensionsreduktion<\/strong> .<\/span><\/p>\n Eine g\u00e4ngige Methode zur Dimensionsreduktion ist die sogenannte Hauptkomponentenregression<\/strong> , die wie folgt funktioniert:<\/span><\/p>\n 1.<\/strong> Angenommen , ein<\/sub> gegebener Datensatz enth\u00e4lt p<\/em> Pr\u00e4diktoren<\/sub> :<\/sub><\/span><\/p>\n 2.<\/strong> Berechnen Sie Z 1<\/sub> , \u2026 , Z M<\/sub> als die M<\/em> Linearkombinationen der urspr\u00fcnglichen p-<\/em> Pr\u00e4diktoren.<\/span><\/p>\n 3.<\/strong> Verwenden Sie die Methode der kleinsten Quadrate, um ein lineares Regressionsmodell anzupassen, das die ersten M<\/em> Hauptkomponenten Z 1<\/sub> , \u2026, Z M<\/sub> als Pr\u00e4diktoren verwendet.<\/span><\/p>\n Der Begriff Dimensionsreduktion<\/strong> ergibt sich aus der Tatsache, dass diese Methode nur M+1 Koeffizienten anstelle von p+1 Koeffizienten sch\u00e4tzen darf, wenn M < p.<\/span><\/p>\n Mit anderen Worten: Die Dimension<\/em> des Problems wurde von p+1 auf M+1 reduziert.<\/span><\/p>\n In vielen F\u00e4llen, in denen Multikollinearit\u00e4t in einem Datensatz vorhanden ist, kann die Hauptkomponentenregression ein Modell erzeugen, das sich besser auf neue Daten verallgemeinern l\u00e4sst als die herk\u00f6mmliche multiple lineare Regression<\/a> .<\/span><\/p>\n In der Praxis werden die folgenden Schritte verwendet, um eine Hauptkomponentenregression durchzuf\u00fchren:<\/span><\/p>\n 1. Standardisieren Sie die Pr\u00e4diktoren.<\/strong><\/span><\/p>\n Zun\u00e4chst standardisieren wir die Daten normalerweise so, dass jede Pr\u00e4diktorvariable einen Mittelwert von 0 und eine Standardabweichung von 1 hat. Dies verhindert, dass ein Pr\u00e4diktor zu viel Einfluss hat, insbesondere wenn er in verschiedenen Einheiten gemessen wird (c, d. h. wenn 1<\/sub> ). wird in Zoll gemessen). und X 2<\/sub> wird in Yards gemessen).<\/span><\/p>\n 2. Berechnen Sie die Hauptkomponenten und f\u00fchren Sie eine lineare Regression durch, wobei Sie die Hauptkomponenten als Pr\u00e4diktoren verwenden.<\/strong><\/span><\/p>\n Als n\u00e4chstes berechnen wir die Hauptkomponenten und verwenden die Methode der kleinsten Quadrate, um ein lineares Regressionsmodell anzupassen, das die ersten M<\/em> Hauptkomponenten Z 1<\/sub> , \u2026, Z M<\/sub> als Pr\u00e4diktoren verwendet.<\/span><\/p>\n 3. Entscheiden Sie, wie viele Hauptkomponenten Sie behalten m\u00f6chten.<\/strong><\/span><\/p>\n Als n\u00e4chstes verwenden wir eine k-fache Kreuzvalidierung,<\/a> um die optimale Anzahl von Hauptkomponenten zu finden, die im Modell beibehalten werden sollen. Die \u201eoptimale\u201c Anzahl der beizubehaltenden Hauptkomponenten ist im Allgemeinen die Zahl, die den niedrigsten mittleren quadratischen Fehler (MSE) des Tests erzeugt.<\/span><\/p>\n Die Hauptkomponentenregression (PCR) bietet folgende Vorteile<\/strong> :<\/span><\/p>\n PCR hat jedoch einen Nachteil:<\/strong><\/span><\/p>\n In der Praxis passen wir viele verschiedene Modelltypen an (PCR, Ridge, Lasso, multiple lineare Regression usw.) und verwenden eine k-fache Kreuzvalidierung, um das Modell zu identifizieren, das den niedrigsten MSE-Test f\u00fcr die neuen Daten liefert.<\/span><\/p>\n In F\u00e4llen, in denen im Originaldatensatz Multikollinearit\u00e4t vorhanden ist (was h\u00e4ufig der Fall ist), ist die Leistung der PCR tendenziell besser als die der gew\u00f6hnlichen Regression der kleinsten Quadrate. Es ist jedoch eine gute Idee, mehrere unterschiedliche Modelle anzupassen, damit Sie herausfinden k\u00f6nnen, welches sich am besten auf unbekannte Daten verallgemeinern l\u00e4sst.<\/span><\/p>\n Die folgenden Tutorials zeigen, wie man eine Hauptkomponentenregression in R und Python durchf\u00fchrt:<\/span><\/p>\n Hauptkomponentenregression in R (Schritt f\u00fcr Schritt)<\/a> Eines der h\u00e4ufigsten Probleme beim Erstellen von Modellen ist die Multikollinearit\u00e4t . Dies tritt auf, wenn zwei oder mehr Pr\u00e4diktorvariablen in einem Datensatz stark korrelieren. Wenn dies geschieht, kann ein bestimmtes Modell m\u00f6glicherweise gut an einen Trainingsdatensatz angepasst werden, bei einem neuen Datensatz, den es noch nie gesehen hat, wird es jedoch wahrscheinlich eine schlechte […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
\n
\n
Schritte zur Durchf\u00fchrung der Hauptkomponentenregression<\/strong><\/span><\/h3>\n
Vor- und Nachteile der Hauptkomponentenregression<\/strong><\/span><\/h3>\n
\n
\n
Hauptkomponentenregression in R & Python<\/strong><\/span><\/h3>\n
Hauptkomponentenregression in Python (Schritt f\u00fcr Schritt)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"