Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Die Werte von \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> werden mit der Methode der kleinsten Quadrate<\/strong> ausgew\u00e4hlt, die die Summe der Quadrate der Residuen (RSS) minimiert:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Wenn jedoch Pr\u00e4diktorvariablen stark korreliert sind, kann Multikollinearit\u00e4t<\/a> zu einem Problem werden. Dies kann dazu f\u00fchren, dass Modellkoeffizientensch\u00e4tzungen unzuverl\u00e4ssig werden und eine hohe Varianz aufweisen.<\/span><\/p>\n Eine M\u00f6glichkeit, dieses Problem zu umgehen, ohne bestimmte Pr\u00e4diktorvariablen vollst\u00e4ndig aus dem Modell zu entfernen, besteht darin, eine Methode namens \u201eRidge-Regression\u201c<\/strong> zu verwenden, die stattdessen darauf abzielt, Folgendes zu minimieren:<\/span><\/p>\n RSS + \u03bb\u03a3\u03b2 j<\/sub> 2<\/sup><\/strong><\/span><\/p>\n wobei j<\/em> von 1 nach p<\/em> geht und<\/span> \u03bb \u2265 0 ist.<\/span><\/p>\n Dieser zweite Term in der Gleichung wird als Auszahlungsstrafe<\/em> bezeichnet.<\/span><\/p>\n Wenn \u03bb = 0, hat dieser Strafterm keine Auswirkung und die Ridge-Regression erzeugt die gleichen Koeffizientensch\u00e4tzungen wie die Methode der kleinsten Quadrate. Wenn sich \u03bb jedoch der Unendlichkeit n\u00e4hert, wird der Schrumpfungsnachteil st\u00e4rker und die Sch\u00e4tzungen des Spitzenregressionskoeffizienten n\u00e4hern sich Null.<\/span><\/p>\n Im Allgemeinen fallen die Pr\u00e4diktorvariablen mit dem geringsten Einfluss im Modell am schnellsten gegen Null.<\/span><\/p>\n Der Vorteil der Ridge-Regression gegen\u00fcber der Regression der kleinsten Quadrate ist der Kompromiss zwischen Bias und Varianz<\/a> .<\/span><\/p>\n Denken Sie daran, dass der mittlere quadratische Fehler (MSE) eine Metrik ist, mit der wir die Genauigkeit eines bestimmten Modells messen k\u00f6nnen. Er wird wie folgt berechnet:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Varianz + Bias 2<\/sup> + Irreduzibler Fehler<\/span><\/p>\n Die Grundidee der Ridge-Regression besteht darin, eine kleine Verzerrung einzuf\u00fchren, sodass die Varianz deutlich reduziert werden kann, was zu einem insgesamt niedrigeren MSE f\u00fchrt.<\/span><\/p>\n Betrachten Sie zur Veranschaulichung die folgende Grafik:<\/span> <\/p>\n Beachten Sie, dass mit zunehmendem \u03bb die Varianz bei einem sehr geringen Anstieg der Vorspannung deutlich abnimmt. Ab einem bestimmten Punkt nimmt die Varianz jedoch weniger schnell ab und die Verringerung der Koeffizienten f\u00fchrt zu einer deutlichen Untersch\u00e4tzung derselben, was zu einem starken Anstieg der Verzerrung f\u00fchrt.<\/span><\/p>\n Aus der Grafik k\u00f6nnen wir ersehen, dass der MSE des Tests am niedrigsten ist, wenn wir einen Wert f\u00fcr \u03bb w\u00e4hlen, der einen optimalen Kompromiss zwischen Bias und Varianz ergibt.<\/span><\/p>\n Wenn \u03bb = 0, hat der Strafterm in der Ridge-Regression keine Auswirkung und erzeugt daher die gleichen Koeffizientensch\u00e4tzungen wie die Methode der kleinsten Quadrate. Durch Erh\u00f6hen von \u03bb auf einen bestimmten Punkt k\u00f6nnen wir jedoch den Gesamt-MSE des Tests reduzieren.<\/span> <\/p>\n Dies bedeutet, dass die Modellanpassung mittels Ridge-Regression kleinere Testfehler erzeugt als die Modellanpassung mittels Regression der kleinsten Quadrate.<\/span><\/p>\n Die folgenden Schritte k\u00f6nnen zur Durchf\u00fchrung einer Ridge-Regression verwendet werden:<\/span><\/p>\n Schritt 1: Berechnen Sie die Korrelationsmatrix und die VIF-Werte f\u00fcr die Pr\u00e4diktorvariablen.<\/strong><\/span><\/p>\n Zuerst m\u00fcssen wir eine Korrelationsmatrix<\/a> erstellen und die VIF-Werte (Varianz-Inflationsfaktor)<\/a> f\u00fcr jede Pr\u00e4diktorvariable berechnen.<\/span><\/p>\n Wenn wir eine starke Korrelation zwischen den Pr\u00e4diktorvariablen und hohen VIF-Werten erkennen (einige Texte definieren einen \u201ehohen\u201c VIF-Wert als 5, w\u00e4hrend andere 10 verwenden), dann ist die Ridge-Regression wahrscheinlich angemessen.<\/span><\/p>\n Wenn die Daten jedoch keine Multikollinearit\u00e4t aufweisen, ist die Durchf\u00fchrung einer Ridge-Regression m\u00f6glicherweise \u00fcberhaupt nicht erforderlich. Stattdessen k\u00f6nnen wir eine gew\u00f6hnliche Regression der kleinsten Quadrate durchf\u00fchren.<\/span><\/p>\n Schritt 2: Standardisieren Sie jede Pr\u00e4diktorvariable.<\/strong><\/span><\/p>\n Bevor wir eine Ridge-Regression durchf\u00fchren, m\u00fcssen wir die Daten so skalieren, dass jede Pr\u00e4diktorvariable einen Mittelwert von 0 und eine Standardabweichung von 1 hat. Dadurch wird sichergestellt, dass keine einzelne Pr\u00e4diktorvariable einen \u00fcberm\u00e4\u00dfigen Einfluss hat, wenn eine Ridge-Regression ausgef\u00fchrt wird.<\/span><\/p>\n Schritt 3: Passen Sie das Ridge-Regressionsmodell an und w\u00e4hlen Sie einen Wert f\u00fcr \u03bb.<\/strong><\/span><\/p>\n Es gibt keine genaue Formel, mit der wir bestimmen k\u00f6nnen, welcher Wert f\u00fcr \u03bb verwendet werden soll. In der Praxis gibt es zwei g\u00e4ngige M\u00f6glichkeiten, \u03bb zu w\u00e4hlen:<\/span><\/p>\n (1) Erstellen Sie ein Ridge-Trace-Diagramm.<\/strong> Dies ist ein Diagramm, das die Werte der Koeffizientensch\u00e4tzungen visualisiert, wenn \u03bb in Richtung Unendlich ansteigt. Normalerweise w\u00e4hlen wir \u03bb als den Wert, bei dem sich die meisten Koeffizientensch\u00e4tzungen zu stabilisieren beginnen.<\/span> <\/p>\n (2) Berechnen Sie den MSE-Test f\u00fcr jeden Wert von \u03bb.<\/strong><\/span><\/p>\n Eine andere M\u00f6glichkeit, \u03bb auszuw\u00e4hlen, besteht darin, einfach den Test-MSE jedes Modells mit unterschiedlichen Werten von \u03bb zu berechnen und \u03bb als den Wert zu w\u00e4hlen, der den niedrigsten Test-MSE erzeugt.<\/span><\/p>\n Der gr\u00f6\u00dfte Vorteil<\/strong> der Ridge-Regression besteht darin, dass sie bei Vorliegen von Multikollinearit\u00e4t einen niedrigeren mittleren quadratischen Testfehler (MSE) als die Methode der kleinsten Quadrate erzeugen kann.<\/span><\/p>\n Der gr\u00f6\u00dfte Nachteil<\/strong> der Ridge-Regression besteht jedoch darin, dass sie keine Variablenauswahl durchf\u00fchren kann, da sie alle Pr\u00e4diktorvariablen in das endg\u00fcltige Modell einbezieht. Da einige Pr\u00e4diktoren sehr nahe an Null reduziert werden, kann dies die Interpretation der Modellergebnisse erschweren.<\/span><\/p>\n In der Praxis hat die Ridge-Regression das Potenzial, ein Modell zu erzeugen, das im Vergleich zu einem Modell der kleinsten Quadrate bessere Vorhersagen treffen kann, allerdings ist es oft schwieriger, die Ergebnisse des Modells zu interpretieren.<\/span><\/p>\n Je nachdem, ob Ihnen die Modellinterpretation oder die Prognosegenauigkeit wichtiger ist, k\u00f6nnen Sie in verschiedenen Szenarien die Methode der kleinsten Quadrate oder die Ridge-Regression verwenden.<\/span><\/p>\n In den folgenden Tutorials wird erl\u00e4utert, wie eine Ridge-Regression in R und Python durchgef\u00fchrt wird, den beiden am h\u00e4ufigsten verwendeten Sprachen zur Anpassung von Ridge-Regressionsmodellen:<\/span><\/p>\n Ridge-Regression in R (Schritt f\u00fcr Schritt)<\/a> Bei der gew\u00f6hnlichen multiplen linearen Regression verwenden wir einen Satz von p Pr\u00e4diktorvariablen und eine Antwortvariable, um ein Modell der Form anzupassen: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Gold: Y : Die Antwortvariable X j : die j -te Vorhersagevariable \u03b2 j […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
\n
Warum Ridge-Regression verwenden?<\/strong><\/span><\/h3>\n
![\"Ridge-Regressions-Bias-Varianz-Kompromiss\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Ridge-Regressionstest](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete2.png\")
<\/p>\n Schritte zur Durchf\u00fchrung der Ridge-Regression in der Praxis<\/strong><\/span><\/h3>\n
![\"Gratspur\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete3.png\")
<\/p>\n Vor- und Nachteile der Ridge-Regression<\/strong><\/span><\/h3>\n
Ridge-Regression in R & Python<\/strong><\/span><\/h3>\n
Ridge-Regression in Python (Schritt f\u00fcr Schritt)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"