7 jenis regresi yang umum (dan kapan menggunakannya)

Analisis regresi adalah salah satu teknik yang paling umum digunakan dalam statistik.

Tujuan mendasar dari analisis regresi adalah untuk menyesuaikan model yang paling menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respon .

Pada artikel ini, kami membagikan 7 model regresi yang paling umum digunakan dalam kehidupan nyata beserta kapan harus menggunakan setiap jenis regresi.

1. Regresi linier

Regresi linier digunakan untuk menyesuaikan model regresi yang menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respon numerik.

Gunakan saat:

• Hubungan antara variabel prediktor dan variabel respon cukup linier.
• Variabel respon merupakan variabel numerik kontinu.

Contoh: Perusahaan ritel dapat menyesuaikan model regresi linier menggunakan pembelanjaan iklan untuk memprediksi total penjualan.

Karena hubungan antara kedua variabel ini cenderung linier (lebih banyak uang yang dibelanjakan untuk iklan umumnya menghasilkan lebih banyak penjualan) dan variabel respons (total penjualan) merupakan variabel numerik kontinu, maka masuk akal untuk menyesuaikan model regresi linier.

Sumber: Pengantar Regresi Linier Berganda

2. Regresi logistik

Regresi logistik digunakan untuk menyesuaikan model regresi yang menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respons biner.

Gunakan saat:

• Variabel responnya adalah biner: hanya dapat mengambil dua nilai.

Contoh: Peneliti medis dapat menyesuaikan model regresi logistik menggunakan olahraga dan kebiasaan merokok untuk memprediksi kemungkinan seseorang terkena serangan jantung.

Karena variabel respons (serangan jantung) bersifat biner – seseorang mengalami serangan jantung atau tidak – maka model regresi logistik cocok untuk digunakan.

Sumber: Pengantar Regresi Logistik

3. Regresi polinomial

Regresi polinomial digunakan untuk menyesuaikan model regresi yang menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respon numerik.

Gunakan saat:

• Hubungan antara variabel prediktor dan variabel respon bersifat nonlinier.
• Variabel respon merupakan variabel numerik kontinu.

Contoh: Psikolog dapat menyesuaikan regresi polinomial menggunakan “jam kerja” untuk memprediksi “kebahagiaan keseluruhan” karyawan di industri tertentu.

Hubungan antara kedua variabel ini kemungkinan tidak linier. Artinya, seiring bertambahnya jumlah jam kerja, seseorang mungkin melaporkan kebahagiaan yang lebih besar, namun setelah jumlah jam kerja tertentu, kebahagiaan secara keseluruhan cenderung menurun. Karena hubungan antara variabel prediktor dan variabel respons bersifat nonlinier, maka masuk akal untuk menyesuaikan model regresi polinomial.

Sumber: Pengantar Regresi Polinomial

4. Regresi Punggung Bukit

Regresi ridge digunakan untuk menyesuaikan model regresi yang menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respon numerik.

Gunakan saat:

• Variabel prediktor sangat berkorelasi dan multikolinearitas menjadi masalah.
• Variabel respon merupakan variabel numerik kontinu.

Contoh: Seorang data scientist bola basket mungkin menyesuaikan model regresi ridge menggunakan variabel prediktor seperti poin, assist, dan rebound untuk memprediksi gaji pemain.

Variabel prediktor cenderung sangat berkorelasi karena pemain yang lebih baik cenderung memiliki lebih banyak poin, assist, dan rebound. Oleh karena itu, multikolinearitas kemungkinan besar akan menjadi masalah, sehingga masalah ini dapat diminimalkan dengan menggunakan regresi ridge.

Sumber: Pengantar Regresi Ridge

5. Regresi Laso

Regresi Lasso sangat mirip dengan regresi Ridge dan digunakan untuk menyesuaikan model regresi yang menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respons numerik.

Gunakan saat:

• Variabel prediktor sangat berkorelasi dan multikolinearitas menjadi masalah.
• Variabel respon merupakan variabel numerik kontinu.

Contoh: Seorang ekonom mungkin menyesuaikan model regresi laso menggunakan variabel prediktor seperti jumlah tahun sekolah, jam kerja, dan biaya hidup untuk memprediksi pendapatan rumah tangga.

Variabel prediktor kemungkinan besar berkorelasi karena individu yang berpendidikan lebih tinggi juga cenderung tinggal di kota dengan biaya hidup lebih tinggi dan jam kerja lebih banyak. Oleh karena itu, multikolinearitas kemungkinan besar akan menjadi masalah, sehingga masalah tersebut dapat diminimalkan dengan menggunakan regresi laso.

Perhatikan bahwa regresi Lasso dan regresi Ridge sangat mirip. Jika multikolinearitas menjadi masalah dalam kumpulan data, disarankan untuk menyesuaikan model regresi Lasso dan Ridge untuk melihat model mana yang bekerja paling baik.

Sumber: Pengantar Regresi Lasso

6. Regresi Poisson

Regresi Poisson digunakan untuk menyesuaikan model regresi yang menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respon.

Gunakan saat:

• Variabel responsnya adalah data “hitungan” – misalnya jumlah hari cerah per minggu, jumlah kecelakaan di jalan raya per tahun, jumlah panggilan yang dilakukan per hari, dll.

Contoh: Sebuah universitas dapat menggunakan regresi Poisson untuk menguji jumlah mahasiswa yang lulus dari suatu program perguruan tinggi tertentu berdasarkan IPK mereka saat memasuki program tersebut dan jenis kelamin mereka.

Dalam hal ini, karena variabel responnya adalah data jumlah (kita dapat “menghitung” jumlah siswa yang lulus – 200, 250, 300, 413, dst.), maka sebaiknya menggunakan regresi Poisson.

Sumber: Pengantar Regresi Poisson

7. Regresi kuantil

Regresi kuantil digunakan untuk menyesuaikan model regresi yang menggambarkan hubungan antara satu atau lebih variabel prediktor dan variabel respon.

Gunakan saat:

• Kami ingin memperkirakan kuantil atau persentil tertentu dari variabel respons – misalnya persentil ke-90, persentil ke-95, dll.

Contoh: Seorang profesor dapat menggunakan regresi kuantil untuk memprediksi perkiraan nilai ujian persentil ke-90 berdasarkan jumlah jam belajar:

Dalam hal ini, karena profesor ingin memprediksi persentil tertentu dari variabel respons (skor ujian), maka tepat untuk menggunakan regresi kuantil.

Sumber: Pengantar Regresi Kuantil

Sumber daya tambahan

4 Contoh Penggunaan Regresi Linier dalam Kehidupan Nyata
4 Contoh Penggunaan Regresi Logistik dalam Kehidupan Nyata
ANOVA vs regresi: apa bedanya?
Panduan Lengkap: Cara Melaporkan Hasil Regresi