Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Die Werte von \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> werden mit der Methode der kleinsten Quadrate ausgew\u00e4hlt, die die Summe der Quadrate der Residuen (RSS) minimiert:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Ein Problem, das in der Praxis bei der multiplen linearen Regression h\u00e4ufig auftritt, ist die Multikollinearit\u00e4t<\/a> \u2013 wenn zwei oder mehr Pr\u00e4diktorvariablen stark miteinander korrelieren, sodass sie im Regressionsmodell keine eindeutigen oder unabh\u00e4ngigen Informationen liefern.<\/span><\/p>\n Dies kann dazu f\u00fchren, dass Modellkoeffizientensch\u00e4tzungen unzuverl\u00e4ssig werden und eine hohe Varianz aufweisen. Das hei\u00dft, wenn das Modell auf einen neuen Datensatz angewendet wird, den es noch nie gesehen hat, wird es wahrscheinlich eine schlechte Leistung erbringen.<\/span><\/p>\n Zwei Methoden, mit denen wir dieses Multikollinearit\u00e4tsproblem umgehen k\u00f6nnen, sind die Ridge-Regression<\/strong> und die Lasso-Regression<\/strong> .<\/span><\/p>\n Die Ridge-Regression<\/strong> versucht Folgendes zu minimieren:<\/span><\/p>\n Die Lasso-Regression<\/strong> versucht Folgendes zu minimieren:<\/span><\/p>\n In beiden Gleichungen wird der zweite Term als R\u00fcckzugsstrafe<\/em> bezeichnet.<\/span><\/p>\n Wenn \u03bb = 0, hat dieser Strafterm keine Auswirkung und die Ridge-Regression und die Lasso-Regression erzeugen die gleichen Koeffizientensch\u00e4tzungen wie die kleinsten Quadrate.<\/span><\/p>\n Wenn sich \u03bb jedoch der Unendlichkeit n\u00e4hert, wird der Schrumpfungsnachteil einflussreicher und Vorhersagevariablen, die nicht in das Modell importiert werden k\u00f6nnen, sinken gegen Null.<\/span><\/p>\n Bei der Lasso-Regression ist es m\u00f6glich, dass einige Koeffizienten vollst\u00e4ndig Null<\/em> werden, wenn \u03bb gro\u00df genug wird.<\/span><\/p>\n Der Vorteil<\/strong> der Ridge- und Lasso-Regression gegen\u00fcber der Regression der kleinsten Quadrate ist der Kompromiss zwischen Bias und Varianz<\/a> .<\/span><\/p>\n Denken Sie daran, dass der mittlere quadratische Fehler (MSE) eine Metrik ist, mit der wir die Genauigkeit eines bestimmten Modells messen k\u00f6nnen. Er wird wie folgt berechnet:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Varianz + Bias 2<\/sup> + Irreduzibler Fehler<\/span><\/p>\n Die Grundidee der Ridge-Regression und der Lasso-Regression besteht darin, eine kleine Verzerrung einzuf\u00fchren, sodass die Varianz deutlich reduziert werden kann, was zu einem insgesamt niedrigeren MSE f\u00fchrt.<\/span><\/p>\n Betrachten Sie zur Veranschaulichung die folgende Grafik:<\/span> <\/p>\n Beachten Sie, dass mit zunehmendem \u03bb die Varianz bei einem sehr geringen Anstieg der Vorspannung deutlich abnimmt. Ab einem bestimmten Punkt nimmt die Varianz jedoch weniger schnell ab und die Verringerung der Koeffizienten f\u00fchrt zu einer deutlichen Untersch\u00e4tzung derselben, was zu einem starken Anstieg der Verzerrung f\u00fchrt.<\/span><\/p>\n Aus der Grafik k\u00f6nnen wir ersehen, dass der MSE des Tests am niedrigsten ist, wenn wir einen Wert f\u00fcr \u03bb w\u00e4hlen, der einen optimalen Kompromiss zwischen Bias und Varianz ergibt.<\/span><\/p>\n Wenn \u03bb = 0, hat der Strafterm in der Lasso-Regression keine Auswirkung und erzeugt daher die gleichen Koeffizientensch\u00e4tzungen wie die Methode der kleinsten Quadrate.<\/span> Durch Erh\u00f6hen von \u03bb auf einen bestimmten Punkt k\u00f6nnen wir jedoch den Gesamt-MSE des Tests reduzieren.<\/span> <\/p>\n Dies bedeutet, dass die Modellanpassung durch Ridge- und Lasso-Regression potenziell zu geringeren Testfehlern f\u00fchren kann als die Modellanpassung durch Regression der kleinsten Quadrate.<\/span><\/p>\n Der Nachteil<\/strong> der Ridge- und Lasso-Regression besteht darin, dass es schwierig wird, die Koeffizienten im endg\u00fcltigen Modell zu interpretieren, da sie gegen Null schrumpfen.<\/span><\/p>\n Daher sollte die Ridge- und Lasso-Regression verwendet werden, wenn Sie die Vorhersagef\u00e4higkeit und nicht die Inferenz optimieren m\u00f6chten.<\/span><\/p>\n Lasso-Regression und Ridge-Regression werden als Regularisierungsmethoden<\/em> bezeichnet, da sie beide versuchen, die verbleibende Quadratsumme (RSS) sowie einen bestimmten Strafterm zu minimieren.<\/span><\/p>\n Mit anderen Worten: Sie beschr\u00e4nken oder regulieren<\/em> die Sch\u00e4tzungen der Modellkoeffizienten.<\/span><\/p>\n Dies wirft nat\u00fcrlich die Frage auf: Ist Ridge- oder Lasso-Regression besser?<\/strong><\/span><\/p>\n In F\u00e4llen, in denen nur wenige Pr\u00e4diktorvariablen signifikant sind, funktioniert die Lasso-Regression<\/strong> tendenziell besser, da sie in der Lage ist, unbedeutende Variablen vollst\u00e4ndig auf Null zu reduzieren und aus dem Modell zu entfernen.<\/span><\/p>\n Wenn jedoch viele Pr\u00e4diktorvariablen im Modell signifikant sind und ihre Koeffizienten ungef\u00e4hr gleich sind, funktioniert die Ridge-Regression<\/strong> tendenziell besser, da alle Pr\u00e4diktoren im Modell bleiben.<\/span><\/p>\n Um zu bestimmen, welches Modell f\u00fcr Vorhersagen am besten geeignet ist, f\u00fchren wir normalerweise eine k-fache Kreuzvalidierung<\/a> durch und w\u00e4hlen das Modell aus, das den niedrigsten quadratischen Mittelwertfehler des Tests erzeugt.<\/span><\/p>\n Die folgenden Tutorials bieten eine Einf\u00fchrung in die Ridge-Regression und die Lasso-Regression:<\/span><\/p>\n In den folgenden Tutorials wird erl\u00e4utert, wie Sie beide Arten der Regression in R und Python durchf\u00fchren:<\/span><\/p>\n Bei der gew\u00f6hnlichen multiplen linearen Regression verwenden wir einen Satz von p Pr\u00e4diktorvariablen und eine Antwortvariable, um ein Modell der Form anzupassen: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Die Werte von \u03b2 0 , \u03b2 1 , B 2 , \u2026, \u03b2 […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
Das Problem der Multikollinearit\u00e4t in der Regression<\/span><\/strong><\/h3>\n
Vermeidung von Multikollinearit\u00e4t: Ridge- und Lasso-Regression<\/strong><\/span><\/h3>\n
\n
\n
Vor- und Nachteile der Ridge- und Lasso-Regression<\/strong><\/span><\/h3>\n
![\"Ridge-Regressions-Bias-Varianz-Kompromiss\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Lasso-Regressions-Bias-Varianz-Kompromiss\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Ridge vs. Lasso-Regression: Wann man sie jeweils verwendet<\/strong><\/span><\/h3>\n
Zus\u00e4tzliche Ressourcen<\/strong><\/span><\/h3>\n
\n
\n