Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Die Werte von \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> werden mit der Methode der kleinsten Quadrate<\/strong> ausgew\u00e4hlt, die die Summe der Quadrate der Residuen (RSS) minimiert:<\/span><\/p>\n RSS = \u03a3(y i<\/sub> \u2013 \u0177 i<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Gold:<\/span><\/p>\n Wenn jedoch Pr\u00e4diktorvariablen stark korreliert sind, kann Multikollinearit\u00e4t<\/a> zu einem Problem werden. Dies kann dazu f\u00fchren, dass Modellkoeffizientensch\u00e4tzungen unzuverl\u00e4ssig werden und eine hohe Varianz aufweisen. Das hei\u00dft, wenn das Modell auf einen neuen Datensatz angewendet wird, den es noch nie gesehen hat, wird es wahrscheinlich eine schlechte Leistung erbringen.<\/span><\/p>\n Eine M\u00f6glichkeit, dieses Problem zu umgehen, ist die Verwendung einer Methode namens Lasso-Regression<\/strong> , die stattdessen darauf abzielt, Folgendes zu minimieren:<\/span><\/p>\n RSS + \u03bb\u03a3|\u03b2 j<\/sub> |<\/strong><\/span><\/p>\n wobei j<\/em> von 1 nach p<\/em> geht und \u03bb \u2265 0 ist.<\/span><\/p>\n Dieser zweite Term in der Gleichung wird als Auszahlungsstrafe<\/em> bezeichnet.<\/span><\/p>\n Wenn \u03bb = 0, hat dieser Strafterm keine Auswirkung und die Lasso-Regression erzeugt die gleichen Koeffizientensch\u00e4tzungen wie die Methode der kleinsten Quadrate.<\/span><\/p>\n Wenn sich \u03bb jedoch der Unendlichkeit n\u00e4hert, wird die Entfernungsstrafe einflussreicher und Vorhersagevariablen, die nicht in das Modell importiert werden k\u00f6nnen, werden auf Null reduziert und einige werden sogar aus dem Modell entfernt.<\/span><\/p>\n Der Vorteil der Lasso-Regression gegen\u00fcber der Regression der kleinsten Quadrate ist der Bias-Varianz-Kompromiss<\/a> .<\/span><\/p>\n Denken Sie daran, dass der mittlere quadratische Fehler (MSE) eine Metrik ist, mit der wir die Genauigkeit eines bestimmten Modells messen k\u00f6nnen. Er wird wie folgt berechnet:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Varianz + Bias 2<\/sup> + Irreduzibler Fehler<\/span><\/p>\n Die Grundidee der Lasso-Regression besteht darin, eine kleine Verzerrung einzuf\u00fchren, sodass die Varianz deutlich reduziert werden kann, was zu einem insgesamt niedrigeren MSE f\u00fchrt.<\/span><\/p>\n Betrachten Sie zur Veranschaulichung die folgende Grafik:<\/span> <\/p>\n Beachten Sie, dass mit zunehmendem \u03bb die Varianz bei einem sehr geringen Anstieg der Vorspannung deutlich abnimmt. Ab einem bestimmten Punkt nimmt die Varianz jedoch weniger schnell ab und die Verringerung der Koeffizienten f\u00fchrt zu einer deutlichen Untersch\u00e4tzung derselben, was zu einem starken Anstieg der Verzerrung f\u00fchrt.<\/span><\/p>\n Aus der Grafik k\u00f6nnen wir ersehen, dass der MSE des Tests am niedrigsten ist, wenn wir einen Wert f\u00fcr \u03bb w\u00e4hlen, der einen optimalen Kompromiss zwischen Bias und Varianz ergibt.<\/span><\/p>\n Wenn \u03bb = 0, hat der Strafterm in der Lasso-Regression keine Auswirkung und erzeugt daher die gleichen Koeffizientensch\u00e4tzungen wie die Methode der kleinsten Quadrate. Durch Erh\u00f6hen von \u03bb auf einen bestimmten Punkt k\u00f6nnen wir jedoch den Gesamt-MSE des Tests reduzieren.<\/span> <\/p>\n Dies bedeutet, dass die Modellanpassung durch Lasso-Regression zu kleineren Testfehlern f\u00fchrt als die Modellanpassung durch Regression der kleinsten Quadrate.<\/span><\/p>\n Lasso-Regression und Ridge-Regression<\/a> werden beide als Regularisierungsmethoden<\/em> bezeichnet, da sie beide versuchen, die verbleibende Quadratsumme (RSS) sowie einen bestimmten Strafterm zu minimieren.<\/span><\/p>\n Mit anderen Worten: Sie beschr\u00e4nken oder regulieren<\/em> die Sch\u00e4tzungen der Modellkoeffizienten.<\/span><\/p>\n Die von ihnen verwendeten Strafbedingungen sind jedoch etwas anders:<\/span><\/p>\n Wenn wir die Ridge-Regression verwenden, werden die Koeffizienten jedes Pr\u00e4diktors auf Null reduziert, aber keiner von ihnen kann vollst\u00e4ndig auf Null<\/em> gehen.<\/span><\/p>\n Wenn wir umgekehrt die Lasso-Regression verwenden, ist es m\u00f6glich, dass einige Koeffizienten vollst\u00e4ndig Null<\/em> werden, wenn \u03bb gro\u00df genug wird.<\/span><\/p>\n Technisch gesehen ist die Lasso-Regression in der Lage, \u201esparse\u201c-Modelle zu erzeugen, d. h. Modelle, die nur eine Teilmenge von Pr\u00e4diktorvariablen enthalten.<\/span><\/p>\n Dies wirft die Frage auf: Ist die Ridge-Regression oder die Lasso-Regression besser?<\/strong><\/span><\/p>\n Die Antwort: Es kommt darauf an!<\/span><\/p>\n In F\u00e4llen, in denen nur wenige Pr\u00e4diktorvariablen signifikant sind, funktioniert die Lasso-Regression tendenziell besser, da sie in der Lage ist, unbedeutende Variablen vollst\u00e4ndig auf Null zu reduzieren und aus dem Modell zu entfernen.<\/span><\/p>\n Wenn jedoch viele Pr\u00e4diktorvariablen im Modell signifikant sind und ihre Koeffizienten ungef\u00e4hr gleich sind, funktioniert die Ridge-Regression tendenziell besser, da alle Pr\u00e4diktoren im Modell bleiben.<\/span><\/p>\n Um zu bestimmen, welches Modell am effektivsten Vorhersagen treffen kann, f\u00fchren wir eine k-fache Kreuzvalidierung<\/a> durch. Welches Modell den niedrigsten mittleren quadratischen Fehler (MSE) erzeugt, ist das beste zu verwendende Modell.<\/span><\/p>\n Die folgenden Schritte k\u00f6nnen verwendet werden, um eine Lasso-Regression durchzuf\u00fchren:<\/span><\/p>\n Schritt 1: Berechnen Sie die Korrelationsmatrix und die VIF-Werte f\u00fcr die Pr\u00e4diktorvariablen.<\/strong><\/span><\/p>\n Zuerst m\u00fcssen wir eine Korrelationsmatrix<\/a> erstellen und die VIF-Werte (Varianz-Inflationsfaktor)<\/a> f\u00fcr jede Pr\u00e4diktorvariable berechnen.<\/span><\/p>\n Wenn wir eine starke Korrelation zwischen den Pr\u00e4diktorvariablen und hohen VIF-Werten feststellen (einige Texte definieren einen \u201ehohen\u201c VIF-Wert als 5, w\u00e4hrend andere 10 verwenden), dann ist die Lasso-Regression wahrscheinlich angemessen.<\/span><\/p>\n Wenn die Daten jedoch keine Multikollinearit\u00e4t aufweisen, besteht m\u00f6glicherweise \u00fcberhaupt keine Notwendigkeit, eine Lasso-Regression durchzuf\u00fchren. Stattdessen k\u00f6nnen wir eine gew\u00f6hnliche Regression der kleinsten Quadrate durchf\u00fchren.<\/span><\/p>\n Schritt 2: Passen Sie das Lasso-Regressionsmodell an und w\u00e4hlen Sie einen Wert f\u00fcr \u03bb.<\/strong><\/span><\/p>\n Sobald wir festgestellt haben, dass die Lasso-Regression angemessen ist, k\u00f6nnen wir das Modell anpassen (unter Verwendung g\u00e4ngiger Programmiersprachen wie R oder Python) und dabei den optimalen Wert f\u00fcr \u03bb verwenden.<\/span><\/p>\n Um den optimalen Wert f\u00fcr \u03bb zu bestimmen, k\u00f6nnen wir mehrere Modelle mit unterschiedlichen Werten f\u00fcr \u03bb anpassen und \u03bb als den Wert w\u00e4hlen, der den niedrigsten MSE-Test ergibt.<\/span><\/p>\n Schritt 3: Vergleichen Sie die Lasso-Regression mit der Ridge-Regression und der gew\u00f6hnlichen Regression der kleinsten Quadrate.<\/strong><\/span><\/p>\n Schlie\u00dflich k\u00f6nnen wir unser Lasso-Regressionsmodell mit einem Ridge-Regressionsmodell und einem Regressionsmodell der kleinsten Quadrate vergleichen, um mithilfe der k-fachen Kreuzvalidierung zu bestimmen, welches Modell den niedrigsten MSE-Test liefert.<\/span><\/p>\n Abh\u00e4ngig von der Beziehung zwischen den Pr\u00e4diktorvariablen und der Antwortvariablen ist es durchaus m\u00f6glich, dass eines dieser drei Modelle in verschiedenen Szenarien die anderen \u00fcbertrifft.<\/span><\/p>\n Die folgenden Tutorials erkl\u00e4ren, wie man eine Lasso-Regression in R und Python durchf\u00fchrt:<\/span><\/p>\n Lasso-Regression in R (Schritt f\u00fcr Schritt)<\/a> Bei der gew\u00f6hnlichen multiplen linearen Regression verwenden wir einen Satz von p Pr\u00e4diktorvariablen und eine Antwortvariable, um ein Modell der Form anzupassen: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Gold: Y : Die Antwortvariable X j : die j -te Vorhersagevariable \u03b2 j […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
\n
Warum die Lasso-Regression verwenden?<\/strong><\/span><\/h3>\n
![\"Ridge-Regressions-Bias-Varianz-Kompromiss\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Lasso-Regressions-Bias-Varianz-Kompromiss\"](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Lasso-Regression vs. Ridge-Regression<\/strong><\/span><\/h3>\n
\n
Schritte zur Durchf\u00fchrung einer Lasso-Regression in der Praxis<\/strong><\/span><\/h3>\n
Lasso-Regression in R & Python<\/strong><\/span><\/h3>\n
Lasso-Regression in Python (Schritt f\u00fcr Schritt)<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"