Bagaimana menafsirkan koefisien regresi

Dalam statistika, analisis regresi merupakan suatu teknik yang dapat digunakan untuk menganalisis hubungan antara variabel prediktor dan variabel respon.

Saat Anda menggunakan perangkat lunak (seperti R , Stata , SPSS , dll.) untuk melakukan analisis regresi, Anda akan menerima tabel regresi yang merangkum hasil regresi sebagai keluaran.

Angka yang paling penting dalam hasil tabel regresi adalah koefisien regresi . Meskipun angka-angka ini penting, banyak orang kesulitan menafsirkan angka-angka ini dengan benar.

Tutorial ini menyajikan contoh analisis regresi dan memberikan penjelasan rinci tentang cara menginterpretasikan koefisien regresi yang dihasilkan dari regresi.

Terkait: Cara Membaca dan Menafsirkan Seluruh Tabel Regresi

Contoh analisis regresi

Misalkan kita ingin melakukan analisis regresi dengan menggunakan variabel berikut:

Variabel prediktor

• Jumlah total jam belajar ( variabel kontinu – antara 0 dan 20 )
• Apakah siswa tersebut menggunakan tutor atau tidak ( variabel kategori – “ya” atau “tidak” )

Variabel respon

• Skor ujian (variabel kontinu – antara 1 dan 100 )

Kami ingin menguji hubungan antara variabel prediktor dan variabel respon untuk melihat apakah jam belajar dan apakah seorang siswa menggunakan tutor benar-benar mempunyai dampak yang signifikan terhadap nilai ujian mereka.

Misalkan kita melakukan analisis regresi dan memperoleh hasil sebagai berikut:

Mari kita lihat bagaimana menafsirkan setiap koefisien regresi.

Interpretasi dari intersepsi

Istilah asli dalam tabel regresi memberi tahu kita nilai rata-rata yang diharapkan untuk variabel respons ketika semua variabel prediktor sama dengan nol.

Dalam contoh ini, koefisien regresi titik asal sama dengan 48.56 . Artinya bagi siswa yang belajar tanpa jam ( Jam belajar = 0) dan tidak menggunakan tutor ( Tutor = 0), rata-rata nilai ujian yang diharapkan adalah 48,56.

Penting untuk dicatat bahwa koefisien regresi intersep hanya signifikan jika masuk akal bahwa semua variabel prediktor dalam model sebenarnya bisa sama dengan nol. Dalam contoh ini tentu saja ada kemungkinan seorang siswa belajar tanpa jam ( Jam belajar = 0) dan juga tidak menggunakan tutor ( Tutor = 0). Dengan demikian, penafsiran koefisien regresi intersep mempunyai arti dalam contoh ini.

Namun dalam beberapa kasus, koefisien regresi intersep tidak signifikan. Misalnya, kita melakukan analisis regresi menggunakan luas persegi sebagai variabel prediktor dan nilai rumah sebagai variabel respon.

Dalam tabel regresi keluaran, koefisien regresi suku aslinya tidak akan memiliki interpretasi yang berarti karena luas persegi sebuah rumah tidak akan pernah sama dengan nol. Dalam hal ini, koefisien regresi untuk suku asli hanya menjangkarkan garis regresi pada tempat yang tepat.

Menafsirkan koefisien variabel prediktor kontinu

Untuk variabel prediktor kontinu, koefisien regresi mewakili selisih antara nilai prediksi variabel respon untuk setiap satu unit perubahan variabel prediktor, dengan asumsi semua variabel prediktor lainnya tetap konstan.

Dalam contoh ini, jam belajar merupakan variabel prediktor kontinu yang berkisar antara 0 hingga 20 jam. Dalam beberapa kasus, seorang siswa belajar hanya selama nol jam dan dalam kasus lain, seorang siswa belajar hingga 20 jam.

Dari hasil regresi terlihat bahwa koefisien regresi jam belajar adalah 2,03 . Artinya, rata-rata, setiap tambahan jam belajar dikaitkan dengan peningkatan sebesar 2,03 poin pada ujian akhir, dengan asumsi variabel prediktor Tutor dijaga konstan.

Misalnya saja siswa A yang belajar selama 10 jam dan menggunakan tutor. Pertimbangkan juga Siswa B yang belajar selama 11 jam dan juga menggunakan tutor. Berdasarkan hasil regresi kami, Siswa B diperkirakan mendapat nilai ujian 2,03 poin lebih tinggi daripada Siswa A.

Nilai p dari tabel regresi memberi tahu kita apakah koefisien regresi ini signifikan secara statistik atau tidak. Kita dapat melihat bahwa nilai p untuk jam belajar adalah 0,009 , yang signifikan secara statistik pada tingkat alfa 0,05.

Catatan: Tingkat alfa harus dipilih sebelum melakukan analisis regresi – pilihan umum untuk tingkat alfa adalah 0,01, 0,05, dan 0,10.

Artikel terkait: Penjelasan nilai P dan signifikansi statistiknya

Menafsirkan koefisien variabel prediktor kategoris

Untuk variabel prediktor kategoris, koefisien regresi merupakan selisih nilai prediksi variabel respon antara kategori yang variabel prediktornya = 0 dan kategori yang variabel prediktornya = 1.

Dalam contoh ini, Tutor adalah variabel prediktor kategoris yang dapat mengambil dua nilai berbeda:

• 1 = siswa menggunakan tutor untuk mempersiapkan ujian
• 0 = siswa tidak menggunakan tutor untuk mempersiapkan ujian

Dari hasil regresi terlihat bahwa koefisien regresi untuk Tutor adalah 8,34 . Artinya, rata-rata, siswa yang menggunakan tutor mendapat nilai ujian 8,34 poin lebih tinggi dibandingkan siswa yang tidak menggunakan tutor, dengan asumsi variabel prediktor Jam belajar tetap konstan.

Misalnya saja siswa A yang belajar selama 10 jam dan menggunakan tutor. Pertimbangkan juga Siswa B yang belajar selama 10 jam dan tidak menggunakan tutor. Berdasarkan hasil regresi kami, Siswa A diharapkan mendapat nilai ujian 8,34 poin lebih tinggi daripada Siswa B.

Nilai p dari tabel regresi memberi tahu kita apakah koefisien regresi ini signifikan secara statistik atau tidak. Kita dapat melihat bahwa nilai p untuk Tutor adalah 0,138 , yang tidak signifikan secara statistik pada tingkat alfa 0,05. Hal ini menunjukkan bahwa meskipun siswa yang menggunakan tutor mendapat nilai lebih baik dalam ujian, perbedaan ini mungkin disebabkan oleh faktor kebetulan.

Interpretasikan semua koefisien sekaligus

Kita dapat menggunakan semua koefisien dalam tabel regresi untuk membuat estimasi persamaan regresi berikut:

Nilai ujian yang diharapkan = 48,56 + 2,03*(Jam belajar) + 8,34*(Tutor)

Catatan : Ingatlah bahwa variabel prediktor “Tutor” tidak signifikan secara statistik pada tingkat alfa 0,05, jadi Anda dapat memilih untuk menghapus prediktor ini dari model dan tidak menggunakannya dalam estimasi akhir persamaan regresi.

Dengan menggunakan perkiraan persamaan regresi ini, kita dapat memprediksi nilai ujian akhir siswa berdasarkan jumlah jam belajarnya dan apakah mereka menggunakan tutor atau tidak.

Misalnya, seorang siswa yang belajar selama 10 jam dan menggunakan tutor harus memperoleh nilai ujian sebesar:

Nilai ujian yang diharapkan = 48,56 + 2,03*(10) + 8,34*(1) = 77,2

Mempertimbangkan korelasi ketika menafsirkan koefisien regresi

Penting untuk diingat bahwa variabel prediktor dapat saling mempengaruhi dalam model regresi. Misalnya, sebagian besar variabel prediktor setidaknya akan berhubungan satu sama lain (misalnya, siswa yang belajar lebih banyak juga cenderung menggunakan tutor).

Artinya koefisien regresi akan berubah ketika variabel prediktor yang berbeda ditambahkan atau dikeluarkan dari model.

Cara yang baik untuk melihat apakah korelasi antar variabel prediktor cukup kuat untuk mempengaruhi model regresi secara serius adalah dengan memeriksa VIF antar variabel prediktor .

Ini akan memberi tahu Anda apakah korelasi antara variabel prediktor merupakan masalah yang perlu diselesaikan sebelum memutuskan untuk menafsirkan koefisien regresi.

Jika Anda menjalankan model regresi linier sederhana dengan satu prediktor, variabel prediktor yang berkorelasi tidak akan menjadi masalah.