Panduan sederhana untuk memahami uji f dari signifikansi keseluruhan dalam regresi

Tutorial ini menjelaskan cara mengidentifikasi statistik F dalam keluaran tabel regresi serta cara menafsirkan statistik ini dan nilai p yang terkait.

Memahami Uji F Signifikansi Keseluruhan

Uji F untuk signifikansi keseluruhan dalam regresi adalah pengujian untuk menentukan apakah model regresi linier Anda lebih cocok dengan kumpulan data dibandingkan model tanpa variabel prediktor.

Uji F signifikansi keseluruhan didasarkan pada dua asumsi berikut:

Hipotesis nol ( _H0 ): Model tanpa variabel prediktor (juga disebut model intersep saja ) cocok dengan data dan juga model regresi Anda.

Hipotesis alternatif ( _HA ): Model regresi Anda lebih cocok dengan data dibandingkan model intersep saja.

Saat Anda menyesuaikan model regresi ke kumpulan data, Anda akan menerima tabel regresi sebagai keluaran, yang akan memberi tahu Anda statistik F beserta nilai p yang sesuai untuk statistik F tersebut.

Jika nilai p lebih kecil dari tingkat signifikansi yang Anda pilih ( pilihan umum adalah 0,01, 0,05, dan 0,10 ), maka Anda memiliki cukup bukti untuk menyimpulkan bahwa model regresi Anda hanya cocok dengan data seperti model aslinya. model.

Contoh : Uji F secara regresi

Misalkan kita memiliki kumpulan data berikut yang menunjukkan jumlah jam belajar, jumlah ujian persiapan yang diambil, dan nilai ujian akhir untuk 12 siswa berbeda:

Untuk menganalisis hubungan antara jam belajar dan persiapan ujian dengan nilai ujian akhir yang diperoleh siswa, kami melakukan regresi linier berganda dengan menggunakan jam belajar dan ujian persiapan sebagai variabel prediktor dan nilai akhir ujian sebagai variabel respon.

Kami menerima hasil berikut:

Dari hasil ini, kita akan fokus pada statistik F yang diberikan dalam tabel ANOVA serta nilai p dari statistik F ini, yang diberi label sebagai Signifikansi F dalam tabel. Kami akan memilih 0,05 sebagai tingkat signifikansi.

F-statistik: 5.090515

Nilai P: 0,0332

Catatan teknis: Statistik F dihitung sebagai regresi MS dibagi dengan sisa MS. Dalam hal ini regresi MS / sisa MS = 273.2665 / 53.68151 = 5.090515 .

Karena nilai p berada di bawah tingkat signifikansi, kita dapat menyimpulkan bahwa model regresi kita lebih cocok dengan data dibandingkan model intersep saja.

Dalam konteks masalah khusus ini, ini berarti bahwa menggunakan variabel prediktor Jam Belajar dan Ujian Persiapan dalam model memungkinkan kita menyesuaikan data dengan lebih baik dibandingkan jika kita mengabaikannya dan hanya menggunakan model intersep secara unik.

Catatan tentang Menafsirkan Uji F Signifikansi Keseluruhan

Secara umum, jika tidak ada variabel prediktor yang signifikan secara statistik, uji F secara keseluruhan juga tidak akan signifikan secara statistik.

Namun, hal ini mungkin tidak terjadi pada beberapa kasus, karena uji F untuk signifikansi keseluruhan menguji apakah semua variabel prediktor signifikan secara bersama-sama , sedangkan uji T untuk signifikansi setiap variabel prediktor hanya menguji apakah setiap variabel prediktif signifikan. signifikan secara individual .

Dengan demikian, uji F menentukan apakah seluruh variabel prediktor signifikan secara bersama-sama atau tidak.

Ada kemungkinan bahwa masing-masing variabel prediktor tidak signifikan, namun uji F menunjukkan bahwa gabungan semua variabel prediktor signifikan secara bersama-sama.

Catatan teknis: Secara umum, semakin banyak variabel prediktor yang Anda miliki dalam model, semakin tinggi kemungkinan bahwa statistik F dan nilai p yang sesuai akan signifikan secara statistik.

Metrik lain yang mungkin Anda lihat dalam keluaran regresi adalah R-squared , yang mengukur kekuatan hubungan linier antara variabel prediktor dan variabel respons lainnya.

Meskipun R-squared dapat memberi Anda gambaran sejauh mana variabel prediktor terkait kuat dengan variabel respons, namun R-squared tidak memberikan uji statistik formal untuk hubungan tersebut.

Inilah sebabnya mengapa Uji-F berguna karena merupakan uji statistik formal. Selain itu, jika uji F secara keseluruhan signifikan, Anda dapat menyimpulkan bahwa R-kuadrat tidak nol dan korelasi antara variabel prediktor dan variabel respons signifikan secara statistik.

Sumber daya tambahan

Tutorial berikut menjelaskan cara menafsirkan nilai umum lainnya dalam model regresi:

Cara Membaca dan Menafsirkan Tabel Regresi
Memahami Kesalahan Standar Regresi
Berapa nilai R-kuadrat yang bagus?