Çok değişkenli uyarlanabilir regresyon eğrilerine giriş
Bir dizi yordayıcı değişken ile bir yanıt değişkeni arasındaki ilişki doğrusal olduğunda, genellikle belirli bir yordayıcı değişken ile bir yanıt değişkeni arasındaki ilişkinin şu biçimi aldığını varsayan doğrusal regresyonu kullanabiliriz :
Y = β 0 + β 1 X + ε
Ancak pratikte değişkenler arasındaki ilişki aslında doğrusal olmayabilir ve doğrusal regresyon kullanmaya çalışmak, modelin zayıf bir şekilde uyum sağlamasıyla sonuçlanabilir.
Tahminci ile yanıt değişkeni arasındaki doğrusal olmayan ilişkiyi açıklamanın bir yolu, aşağıdaki formu alanpolinom regresyonunu kullanmaktır:
Y = β 0 + β 1 X + β 2 X 2 + … + β h
Bu denklemde h’ye polinomun “derecesi” denir. h değerini arttırdıkça model daha esnek hale gelir ve doğrusal olmayan verilere uyum sağlayabilir.
Ancak polinom regresyonun bazı dezavantajları vardır:
1. Eğer h derecesi çok büyük seçilirse, polinom regresyon bir veri setini kolaylıkla aşabilir . Uygulamada h nadiren 3 veya 4’ten büyüktür çünkü bu noktanın ötesinde basitçe bir eğitim setinin gürültüsüne karşılık gelir ve görünmeyen verilere iyi bir şekilde genelleme yapmaz.
2. Polinom regresyon, tüm veri setine her zaman kesin olmayan global bir işlev yükler.
Polinom regresyonun bir alternatifi, çok değişkenli uyarlanabilir regresyon eğrileridir .
Temel fikir
Çok değişkenli uyarlanabilir regresyon eğrileri şu şekilde çalışır:
1. Bir veri kümesini k parçaya bölün.
Öncelikle bir veri kümesini k farklı öğeye bölüyoruz. Veri setini böldüğümüz noktalara düğüm adı verilir.
Her tahminci için her noktayı potansiyel bir düğüm olarak değerlendirip aday özellikleri kullanarak doğrusal bir regresyon modeli oluşturarak düğümleri belirliyoruz. Modelde en fazla hatayı azaltabilecek nokta düğümdür.
İlk düğümü belirledikten sonra diğer düğümleri bulmak için işlemi tekrarlıyoruz. Başlangıç için makul olduğunu düşündüğünüz sayıda düğüm bulabilirsiniz.
2. Bir menteşe fonksiyonu oluşturmak için her parçaya bir regresyon fonksiyonu yerleştirin.
Düğümleri seçtikten ve veri kümesindeki her öğeye bir regresyon modeli uydurduktan sonra, h(xa) ile gösterilen menteşe işlevi adı verilen bir işlev elde ederiz; burada a, değer(ler)in eşiğidir.
Örneğin, tek düğümlü bir model için menteşe işlevi şu şekilde olabilir:
- y = β 0 + β 1 (4,3 – x) eğer x < 4,3 ise
- y = β 0 + β 1 (x – 4,3) eğer x > 4,3
Bu durumda eşik değeri olarak 4.3 seçilmesinin olası tüm eşik değerleri arasında maksimum hata azaltımına olanak sağladığı belirlendi. Daha sonra 4,3’ün altındaki değerlere ve 4,3’ün üzerindeki değerlere farklı bir regresyon modeli uyguluyoruz.
İki düğümlü bir menteşe fonksiyonu aşağıdaki gibi olabilir:
- y = β 0 + β 1 (4,3 – x) eğer x < 4,3 ise
- y = β 0 + β 1 (x – 4,3) eğer x > 4,3 ve x < 6,7 ise
- y = β 0 + β 1 (6,7 – x) eğer x > 6,7 ise
Bu durumda eşik değeri olarak 4.3 ve 6.7 seçilmesinin olası tüm eşik değerleri arasında maksimum hata azaltımına olanak sağladığı belirlendi. Daha sonra bir regresyon modelini 4,3’ün altındaki değerlere, başka bir regresyon modelini 4,3 ile 6,7 arasındaki değerlere ve başka bir regresyon modelini 4,3’ün üzerindeki değerlere sığdırıyoruz.
3. K-katlı çapraz doğrulamaya göre k’yi seçin.
Son olarak, her model için farklı sayıda düğüm kullanarak birkaç farklı modeli yerleştirdikten sonra, en düşük test ortalama kare hatasını (MSE) üreten modeli belirlemek için k-katlı çapraz doğrulama gerçekleştirebiliriz.
En düşük MSE testine sahip model, yeni verilere en iyi genelleme yapan model olarak seçilir.
Avantajlar ve dezavantajlar
Çok değişkenli uyarlamalı regresyon eğrileri aşağıdaki avantaj ve dezavantajlara sahiptir:
Avantajları :
- Hem regresyon hem de sınıflandırma problemlerinde kullanılabilir.
- Bu, büyük veri kümelerinde iyi çalışır.
- Hızlı hesaplama olanağı sunar.
- Bu, öngörücü değişkenleri standartlaştırmanızı gerektirmez.
Dezavantajlar:
- Rastgele ormanlar ve gradyan artırma makineleri gibi doğrusal olmayan yöntemler kadar iyi performans göstermeme eğilimindedir.
MARS modelleri R & Python’a nasıl sığdırılır
Aşağıdaki eğitimlerde, R ve Python’da çok değişkenli uyarlamalı regresyon eğrilerinin (MARS) nasıl sığdırılacağına ilişkin adım adım örnekler verilmektedir:
R’de Çok Değişkenli Uyarlanabilir Regresyon Spline’ları
Python’da Çok Değişkenli Uyarlanabilir Regresyon Spline’ları
yazar hakkında
Dr.benjamin anderson
Merhaba, ben Benjamin, emekli bir istatistik profesörü ve Statorials öğretmenine dönüştüm. İstatistik alanındaki kapsamlı deneyimim ve uzmanlığımla, öğrencilerimi Statorials aracılığıyla güçlendirmek için bilgilerimi paylaşmaya can atıyorum. Daha fazlasını bil