Regresyon katsayıları nasıl yorumlanır?

İstatistikteregresyon analizi , yordayıcı değişkenler ile bir yanıt değişkeni arasındaki ilişkiyi analiz etmek için kullanılabilecek bir tekniktir.

Regresyon analizini gerçekleştirmek için yazılım ( R , Stata , SPSS vb.) kullandığınızda, regresyon sonuçlarını özetleyen bir regresyon tablosunu çıktı olarak alacaksınız.

Regresyon tablosu sonucundaki en önemli sayılar muhtemelen regresyon katsayılarıdır . Ancak önemlerine rağmen birçok kişi bu sayıları doğru şekilde yorumlamakta zorluk çekiyor.

Bu eğitimde bir regresyon analizi örneği sunulur ve regresyondan kaynaklanan regresyon katsayılarının nasıl yorumlanacağına ilişkin ayrıntılı bir açıklama sağlanır.

İlgili: Regresyon Tablosunun Tamamını Okuma ve Yorumlama

Regresyon analizi örneği

Aşağıdaki değişkenleri kullanarak bir regresyon analizi yapmak istediğimizi varsayalım :

Tahmini değişkenler

• Toplam çalışılan saat sayısı ( sürekli değişken – 0 ile 20 arasında )
• Öğrencinin özel öğretmen kullanıp kullanmadığı ( kategorik değişken – “evet” veya “hayır” )

Yanıt değişkeni

• Sınav puanı ( sürekli değişken – 1 ile 100 arasında )

Çalışılan saatlerin ve bir öğrencinin özel öğretmen kullanıp kullanmamasının sınav notu üzerinde gerçekten önemli bir etkisi olup olmadığını görmek için yordayıcı değişkenler ile yanıt değişkeni arasındaki ilişkiyi incelemek istiyoruz.

Bir regresyon analizi yaptığımızı ve aşağıdaki sonucu elde ettiğimizi varsayalım:

Her bir regresyon katsayısının nasıl yorumlanacağını görelim.

Müdahalenin yorumlanması

Bir regresyon tablosundaki orijinal terim bize, tüm yordayıcı değişkenler sıfıra eşit olduğunda yanıt değişkeni için beklenen ortalama değeri söyler.

Bu örnekte orijin için regresyon katsayısı 48,56’ya eşittir. Bu, sıfır saat çalışan ( Çalışılan saat = 0) ve özel öğretmen kullanmayan ( Öğretmen = 0) bir öğrenci için beklenen ortalama sınav puanının 48,56 olduğu anlamına gelir.

Kesişme için regresyon katsayısının yalnızca modeldeki tüm yordayıcı değişkenlerin aslında sıfıra eşit olmasının makul olması durumunda anlamlı olduğunu belirtmek önemlidir. Bu örnekte, bir öğrencinin sıfır saat çalışmış olması ( Çalışılan saat = 0) ve aynı zamanda özel öğretmen kullanmamış olması ( Öğretmen = 0) kesinlikle mümkündür. Dolayısıyla bu örnekte kesmenin regresyon katsayısının yorumu anlamlıdır.

Ancak bazı durumlarda kesmeye ilişkin regresyon katsayısı anlamlı değildir. Örneğin, tahmin değişkeni olarak metrekareyi ve yanıt değişkeni olarak ev değerini kullanarak bir regresyon analizi yaptığımızı varsayalım.

Çıktı regresyon tablosunda bir evin metrekaresi hiçbir zaman sıfıra eşit olamayacağından orijinal terime ait regresyon katsayısının anlamlı bir yorumu olmayacaktır. Bu durumda orijinal terimin regresyon katsayısı, regresyon doğrusunu doğru yere tutturur.

Sürekli bir yordayıcı değişkenin katsayısının yorumlanması

Sürekli bir yordayıcı değişken için regresyon katsayısı, diğer tüm yordayıcı değişkenlerin sabit kaldığı varsayılarak, yordayıcı değişkendeki her bir birimlik değişiklik için yanıt değişkeninin öngörülen değeri arasındaki farkı temsil eder.

Bu örnekte çalışılan saat , 0 ila 20 saat arasında değişen sürekli bir öngörücü değişkendir. Bazı durumlarda bir öğrenci yalnızca sıfır saat çalıştı, diğer durumlarda ise bir öğrenci 20 saate kadar çalıştı.

Regresyon sonucundan çalışılan saatlere ait regresyon katsayısının 2,03 olduğunu görüyoruz. Bu, tahmin değişkeni Tutor’un sabit tutulduğu varsayıldığında, çalışılan her ek saatin final sınavında ortalama 2,03 puanlık bir artışla ilişkili olduğu anlamına gelir.

Örneğin, 10 saat ders çalışan ve özel öğretmen kullanan A öğrencisini düşünün. Ayrıca 11 saat çalışan ve aynı zamanda özel öğretmen kullanan Öğrenci B’yi de düşünün. Regresyon sonuçlarımıza göre Öğrenci B’nin sınavda Öğrenci A’dan 2,03 puan daha yüksek alması bekleniyor.

Regresyon tablosunun p değeri bize bu regresyon katsayısının gerçekten istatistiksel olarak anlamlı olup olmadığını söyler. Çalışılan saatlere ilişkin p değerinin 0,009 olduğunu ve bunun 0,05 alfa düzeyinde istatistiksel olarak anlamlı olduğunu görüyoruz.

Not: Regresyon analizini gerçekleştirmeden önce alfa düzeyi seçilmelidir; alfa düzeyi için yaygın seçenekler 0,01, 0,05 ve 0,10’dur.

İlgili makale: P değerlerinin açıklaması ve istatistiksel önemi

Kategorik bir yordayıcı değişkenin katsayısının yorumlanması

Kategorik bir yordayıcı değişken için regresyon katsayısı, yordayıcı değişkenin = 0 olduğu kategori ile yordayıcı değişkenin = 1 olduğu kategori arasındaki yanıt değişkeninin öngörülen değerindeki farkı temsil eder.

Bu örnekte Tutor , iki farklı değer alabilen kategorik bir tahmin değişkenidir:

• 1 = öğrenci sınava hazırlanmak için bir öğretmen kullandı
• 0 = öğrenci sınava hazırlanmak için bir öğretmen kullanmadı

Regresyon sonucunda Tutor için regresyon katsayısının 8,34 olduğunu görüyoruz. Bu, çalışılan saat tahmin değişkeninin sabit kaldığı varsayıldığında, özel öğretmen kullanan bir öğrencinin, özel öğretmen kullanmayan bir öğrenciden sınavda ortalama 8,34 puan daha yüksek puan aldığı anlamına gelir.

Örneğin, 10 saat ders çalışan ve özel öğretmen kullanan A öğrencisini düşünün. Ayrıca 10 saat çalışan ve özel öğretmen kullanmayan Öğrenci B’yi de düşünün. Regresyon sonuçlarımıza göre Öğrenci A’nın Öğrenci B’den 8,34 puan daha yüksek bir sınav puanı alması bekleniyor.

Regresyon tablosunun p değeri bize bu regresyon katsayısının gerçekten istatistiksel olarak anlamlı olup olmadığını söyler. Tutor için p değerinin 0,138 olduğunu ve bunun 0,05 alfa düzeyinde istatistiksel olarak anlamlı olmadığını görebiliriz. Bu durum, özel ders veren öğrencilerin sınavda daha iyi performans gösterse de bu farkın şanstan kaynaklanabileceğini gösteriyor.

Tüm katsayıları aynı anda yorumlayın

Aşağıdaki tahmini regresyon denklemini oluşturmak için regresyon tablosundaki tüm katsayıları kullanabiliriz:

Beklenen sınav puanı = 48,56 + 2,03*(Çalışılan saat) + 8,34*(Öğretmen)

Not : “Öğretmen” yordayıcı değişkeninin 0,05 alfa seviyesinde istatistiksel olarak anlamlı olmadığını unutmayın; dolayısıyla bu yordayıcıyı modelden çıkarmayı ve onu regresyon denklemi nihai tahmininde kullanmamayı seçebilirsiniz.

Bu tahmini regresyon denklemini kullanarak, bir öğrencinin final sınavı notunu toplam çalışma saatine ve özel ders alıp almadığına göre tahmin edebiliriz.

Örneğin, 10 saat çalışıp özel ders veren bir öğrencinin sınav puanı şu şekilde olmalıdır:

Beklenen sınav puanı = 48,56 + 2,03*(10) + 8,34*(1) = 77,2

Regresyon katsayılarını yorumlarken korelasyonun dikkate alınması

Bir regresyon modelinde yordayıcı değişkenlerin birbirini etkileyebileceğini akılda tutmak önemlidir. Örneğin, yordayıcı değişkenlerin çoğu en azından bir şekilde birbiriyle ilişkili olacaktır (örneğin, daha fazla çalışan bir öğrencinin özel ders verme olasılığı da daha yüksektir).

Bu, farklı yordayıcı değişkenler modele eklendiğinde veya modelden çıkarıldığında regresyon katsayılarının değişeceği anlamına gelir.

Yordayıcı değişkenler arasındaki korelasyonun, regresyon modelini ciddi şekilde etkileyecek kadar ciddi olup olmadığını görmenin iyi bir yolu , yordayıcı değişkenler arasındaki VIF’yi kontrol etmektir .

Bu size, yordayıcı değişkenler arasındaki korelasyonun, regresyon katsayılarını yorumlamaya karar vermeden önce çözülmesi gereken bir sorun olup olmadığını söyleyecektir.

Tek bir öngörücüyle basit bir doğrusal regresyon modeli çalıştırırsanız, ilişkili yordayıcı değişkenler sorun olmayacaktır.