Y = \u03b2 0<\/sub> + \u03b2 1<\/sub> X 1<\/sub> +<\/sub> \u03b2 2<\/sub> X 2<\/sub> + \u2026 + \u03b2 p<\/sub><\/strong><\/span><\/p>\n Nilai \u03b2 0<\/sub> , \u03b2 1<\/sub> , B 2<\/sub> , \u2026, \u03b2 p<\/sub> dipilih menggunakan metode kuadrat terkecil, yang meminimalkan jumlah kuadrat residu (RSS):<\/span><\/p>\n RSS = \u03a3(y saya<\/sub> \u2013 \u0177 saya<\/sub> ) 2<\/sup><\/strong><\/span><\/p>\n Emas:<\/span><\/p>\n Masalah yang sering muncul dalam praktik regresi linier berganda adalah multikolinearitas<\/a> \u2013 ketika dua atau lebih variabel prediktor berkorelasi tinggi satu sama lain, sehingga tidak memberikan informasi unik atau independen dalam model regresi.<\/span><\/p>\n Hal ini dapat membuat estimasi koefisien model tidak dapat diandalkan dan menunjukkan varians yang tinggi. Artinya, ketika model diterapkan pada kumpulan data baru yang belum pernah ada sebelumnya, kemungkinan besar kinerjanya akan buruk.<\/span><\/p>\n Dua metode yang dapat kita gunakan untuk mengatasi masalah multikolinearitas ini adalah regresi ridge<\/strong> dan regresi laso<\/strong> .<\/span><\/p>\n Regresi ridge<\/strong> berupaya meminimalkan hal-hal berikut:<\/span><\/p>\n Regresi Lasso<\/strong> berupaya meminimalkan hal-hal berikut:<\/span><\/p>\n Dalam kedua persamaan tersebut, suku kedua disebut penalti penarikan<\/em> .<\/span><\/p>\n Ketika \u03bb = 0, suku penalti ini tidak berpengaruh dan regresi ridge dan regresi laso menghasilkan estimasi koefisien yang sama dengan kuadrat terkecil.<\/span><\/p>\n Namun, ketika \u03bb mendekati tak terhingga, penalti penyusutan menjadi lebih berpengaruh dan variabel prediktif yang tidak dapat diimpor ke dalam model berkurang menuju nol.<\/span><\/p>\n Dengan regresi Lasso, ada kemungkinan beberapa koefisien menjadi nol sepenuhnya<\/em> ketika \u03bb menjadi cukup besar.<\/span><\/p>\n Keuntungan<\/strong> regresi Ridge dan Lasso dibandingkan regresi kuadrat terkecil adalah tradeoff bias-varians<\/a> .<\/span><\/p>\n Ingatlah bahwa Mean Square Error (MSE) adalah metrik yang dapat kita gunakan untuk mengukur keakuratan model tertentu dan dihitung sebagai berikut:<\/span><\/p>\n MSE = Var( f\u0302(<\/em> x 0<\/sub> )) + [Bias( f\u0302(<\/em> x 0<\/sub> ))] 2<\/sup> + Var(\u03b5)<\/span><\/p>\n MSE = Varians + Bias 2<\/sup> + Kesalahan yang tidak dapat direduksi<\/span><\/p>\n Ide dasar dari Regresi Ridge dan Regresi Lasso adalah untuk memperkenalkan bias kecil sehingga varians dapat dikurangi secara signifikan, sehingga menghasilkan UMK yang lebih rendah secara keseluruhan.<\/span><\/p>\n Untuk mengilustrasikannya, perhatikan grafik berikut:<\/span> <\/p>\n Perhatikan bahwa ketika \u03bb meningkat, variansnya berkurang secara signifikan dengan peningkatan bias yang sangat kecil. Namun, setelah melewati titik tertentu, varians berkurang dengan lebih cepat dan penurunan koefisien menyebabkan perkiraan yang terlalu rendah, sehingga menyebabkan peningkatan tajam dalam bias.<\/span><\/p>\n Kita dapat melihat dari grafik bahwa MSE pengujian paling rendah ketika kita memilih nilai \u03bb yang menghasilkan trade-off optimal antara bias dan varians.<\/span><\/p>\n Ketika \u03bb = 0, suku penalti dalam regresi laso tidak berpengaruh dan oleh karena itu menghasilkan estimasi koefisien yang sama dengan kuadrat terkecil.<\/span> Namun, dengan meningkatkan \u03bb hingga titik tertentu, kita dapat mengurangi MSE pengujian secara keseluruhan.<\/span> <\/p>\n Artinya, pemasangan model dengan regresi ridge dan laso berpotensi menghasilkan kesalahan pengujian yang lebih kecil dibandingkan pemasangan model dengan regresi kuadrat terkecil.<\/span><\/p>\n Kerugian<\/strong> dari regresi Ridge dan Lasso adalah sulitnya menginterpretasikan koefisien dalam model akhir karena koefisiennya menyusut menuju nol.<\/span><\/p>\n Oleh karena itu, regresi Ridge dan Lasso harus digunakan ketika Anda ingin mengoptimalkan kemampuan prediktif daripada inferensi.<\/span><\/p>\n Regresi L asso dan regresi ridge dikenal sebagai metode regularisasi<\/em> karena keduanya berupaya meminimalkan jumlah sisa kuadrat (RSS) serta jangka waktu penalti tertentu.<\/span><\/p>\n Dengan kata lain, mereka membatasi atau mengatur<\/em> estimasi koefisien model.<\/span><\/p>\n Hal ini tentu saja menimbulkan pertanyaan: apakah regresi ridge atau laso lebih baik?<\/strong><\/span><\/p>\n Dalam kasus di mana hanya sejumlah kecil variabel prediktor yang signifikan, regresi laso<\/strong> cenderung bekerja lebih baik karena mampu mereduksi sepenuhnya variabel-variabel yang tidak signifikan menjadi nol dan menghapusnya dari model.<\/span><\/p>\n Namun, ketika banyak variabel prediktor signifikan dalam model dan koefisiennya kira-kira sama, regresi ridge<\/strong> cenderung bekerja lebih baik karena semua prediktor tetap berada dalam model.<\/span><\/p>\n Untuk menentukan model mana yang terbaik untuk membuat prediksi, kami biasanya melakukan validasi silang k-fold<\/a> dan memilih model yang menghasilkan uji root mean square error terendah.<\/span><\/p>\n Tutorial berikut memberikan pengenalan tentang Regresi Ridge dan Regresi Lasso:<\/span><\/p>\n Tutorial berikut menjelaskan cara melakukan kedua jenis regresi di R dan Python:<\/span><\/p>\n Dalam regresi linier berganda biasa, kami menggunakan sekumpulan variabel prediktor p dan variabel respons agar sesuai dengan model dalam bentuk: Y = \u03b2 0 + \u03b2 1 X 1 + \u03b2 2 X 2 + \u2026 + \u03b2 p Nilai \u03b2 0 , \u03b2 1 , B 2 , \u2026, \u03b2 p dipilih menggunakan metode […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11],"tags":[],"yoast_head":"\n\n
Masalah multikolinearitas dalam regresi<\/span><\/strong><\/h3>\n
Menghindari multikolinearitas: Regresi Ridge & Lasso<\/strong><\/span><\/h3>\n
\n
\n
Keuntungan dan Kerugian Regresi Ridge & Lasso<\/strong><\/span><\/h3>\n
![\"Pengorbanan](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/crete1.png\")
<\/p>\n![\"Pengorbanan](\"https:\/\/statorials.org\/wp-content\/uploads\/2023\/08\/lasso1.png\")
<\/p>\n Punggungan vs. Regresi Lasso: Kapan Menggunakan Masing-masing<\/strong><\/span><\/h3>\n
Sumber daya tambahan<\/strong><\/span><\/h3>\n
\n
\n