การคัดเลือกโดยตรงคืออะไร? (คำจำกัดความ & #038; ตัวอย่าง)

ในสถิติ การเลือกแบบเป็นขั้นตอน เป็นขั้นตอนที่เราสามารถใช้สร้าง แบบจำลองการถดถอย จากชุดตัวแปรตัวทำนายโดยการป้อนและลบตัวทำนายในลักษณะทีละขั้นตอนในแบบจำลอง จนกระทั่งไม่มีเหตุผลที่ถูกต้องทางสถิติอีกต่อไปในการป้อน หรือลบเพิ่มเติม

เป้าหมายของการเลือกแบบขั้นตอนคือการสร้างแบบจำลองการถดถอยที่รวมตัวแปรทำนายทั้งหมดที่มีความเกี่ยวข้องอย่างมีนัยสำคัญทางสถิติกับ ตัวแปรตอบสนอง

วิธีการเลือกแบบทีละขั้นตอนที่ใช้กันมากที่สุดวิธีหนึ่งเรียกว่า การเลือกโดยตรง ซึ่งทำงานดังนี้:

ขั้นตอนที่ 1: ปรับโมเดลการถดถอยแบบสกัดกั้นอย่างเดียวโดยไม่มีตัวแปรตัวทำนาย คำนวณค่า AIC * สำหรับโมเดล

ขั้นตอนที่ 2: ติดตั้งโมเดลการถดถอยแบบตัวทำนายเดียวที่เป็นไปได้ทั้งหมด ระบุแบบจำลองที่สร้าง AIC ต่ำที่สุดและมีการลดลงอย่างมีนัยสำคัญทางสถิติใน AIC เมื่อเปรียบเทียบกับแบบจำลองแบบสกัดกั้นเท่านั้น

ขั้นตอนที่ 3: ปรับโมเดลการถดถอยทั้งหมดให้เข้ากับตัวทำนายที่เป็นไปได้สองตัว ระบุแบบจำลองที่สร้าง AIC ต่ำสุดและยังมี AIC ลดลงอย่างมีนัยสำคัญทางสถิติเมื่อเปรียบเทียบกับแบบจำลองที่มีตัวทำนายเดียว

ทำซ้ำขั้นตอนนี้จนกว่าจะปรับแบบจำลองการถดถอยด้วยตัวแปรทำนายที่มากขึ้น จะไม่ทำให้ AIC ลดลงอย่างมีนัยสำคัญทางสถิติอีกต่อไป

* มีเมตริกหลายอย่างที่คุณสามารถใช้เพื่อคำนวณความเหมาะสมของแบบจำลองการถดถอย รวมถึงข้อผิดพลาดในการทำนายการตรวจสอบความถูกต้องข้าม, Cp, BIC, AIC หรือ ^R2 ที่ปรับปรุงแล้ว ในตัวอย่างด้านล่าง เราเลือกใช้ AIC

ตัวอย่างต่อไปนี้แสดงวิธีการเลือกโดยตรงใน R

ตัวอย่าง: การเลือกโดยตรงใน R

สำหรับตัวอย่างนี้ เราจะใช้ ชุดข้อมูล mtcars ที่สร้างไว้ใน R:

 #view first six rows of mtcars
head(mtcars)

                   mpg cyl disp hp drat wt qsec vs am gear carb
Mazda RX4 21.0 6 160 110 3.90 2.620 16.46 0 1 4 4
Mazda RX4 Wag 21.0 6 160 110 3.90 2.875 17.02 0 1 4 4
Datsun 710 22.8 4 108 93 3.85 2.320 18.61 1 1 4 1
Hornet 4 Drive 21.4 6 258 110 3.08 3.215 19.44 1 0 3 1
Hornet Sportabout 18.7 8 360 175 3.15 3.440 17.02 0 0 3 2
Valiant 18.1 6 225 105 2.76 3,460 20.22 1 0 3 1

เราจะปรับโมเดลการถดถอยเชิงเส้นหลายตัวให้เหมาะสมโดยใช้ mpg (ไมล์ต่อแกลลอน) เป็นตัวแปรตอบสนอง และตัวแปรอีก 10 ตัวในชุดข้อมูลเป็นตัวแปรทำนายที่เป็นไปได้

รหัสต่อไปนี้แสดงวิธีการเลือกทีละขั้นตอน:

 #define intercept-only model
intercept_only <- lm(mpg ~ 1, data=mtcars)

#define model with all predictors
all <- lm(mpg ~ ., data=mtcars)

#perform forward stepwise regression
forward <- step(intercept_only, direction=' forward ', scope= formula (all), trace= 0 )

#view results of forward stepwise regression
forward$anova

   Step Df Deviance Resid. Df Resid. Dev AIC
1 NA NA 31 1126.0472 115.94345
2 + wt -1 847.72525 30 278.3219 73.21736
3 + cyl -1 87.14997 29 191.1720 63.19800
4 + hp -1 14.55145 28 176.6205 62.66456

#view final model
forward$coefficients

(Intercept) wt cyl hp 
 38.7517874 -3.1669731 -0.9416168 -0.0180381 

ต่อไปนี้เป็นวิธีการตีความผลลัพธ์:

ขั้นแรก เราปรับให้เหมาะกับโมเดลแบบสกัดกั้นเท่านั้น โมเดลนี้มี AIC เท่ากับ 115.94345

จากนั้นเราจะปรับโมเดลที่เป็นไปได้ทั้งหมดให้เข้ากับตัวทำนาย แบบจำลองที่สร้าง AIC ต่ำสุดและมีการลดลงอย่างมีนัยสำคัญทางสถิติใน AIC เมื่อเปรียบเทียบกับแบบจำลองแบบสกัดกั้นเท่านั้นที่ใช้ตัวทำนาย น้ำหนัก โมเดลนี้มี AIC เท่ากับ 73.21736

ต่อไป เราจะปรับโมเดลที่เป็นไปได้ทั้งหมดให้พอดีกับตัวทำนายสองตัว แบบจำลองที่สร้าง AIC ต่ำสุดและยังมีการลดลงที่มีนัยสำคัญทางสถิติใน AIC เมื่อเปรียบเทียบกับแบบจำลองตัวทำนายเดี่ยวที่เพิ่มตัวทำนาย แบบทรงกระบอก โมเดลนี้มี AIC เท่ากับ 63.19800

ต่อไป เราจะปรับโมเดลที่เป็นไปได้ทั้งหมดให้เข้ากับตัวทำนายสามตัว แบบจำลองที่สร้าง AIC ต่ำที่สุดและมีการลดลงอย่างมีนัยสำคัญใน AIC เมื่อเปรียบเทียบกับแบบจำลองตัวทำนายสองตัวที่เพิ่มตัวทำนาย hp โมเดลนี้มี AIC เท่ากับ 62.66456

ต่อไป เราจะปรับโมเดลที่เป็นไปได้ทั้งหมดให้เข้ากับตัวทำนายสี่ตัว ปรากฎว่าไม่มีโมเดลใดที่ทำให้ AIC ลดลงอย่างมีนัยสำคัญ ดังนั้นเราจึงหยุดขั้นตอนนี้

โมเดลสุดท้ายจึงกลายเป็น:

mpg = 38.75 – 3.17*น้ำหนัก – 0.94*สูบ – 0.02*hyp

ปรากฎว่าการพยายามเพิ่มตัวแปรทำนายเพิ่มเติมให้กับแบบจำลองไม่ได้ทำให้ AIC ลดลงอย่างมีนัยสำคัญทางสถิติ

ดังนั้นเราจึงสรุปได้ว่าโมเดลที่ดีที่สุดคือโมเดลที่มีตัวแปรทำนายสามตัว ได้แก่ wt, cyl และ hp

หมายเหตุเกี่ยวกับการใช้ AIC

ในตัวอย่างก่อนหน้านี้ เราเลือกใช้ AIC เป็นหน่วยเมตริกเพื่อประเมินความเหมาะสมของแบบจำลองการถดถอยต่างๆ

AIC ย่อมาจาก Akaike Information Criterion และมีการคำนวณดังนี้

AIC = 2K – 2 ลิตร (L)

ทอง:

• K: จำนวนพารามิเตอร์โมเดล
• ln (L) : ความน่าจะเป็นของบันทึกของโมเดล ข้อมูลนี้บอกเราว่าแบบจำลองนี้มีแนวโน้มเพียงใดโดยอิงตามข้อมูล

อย่างไรก็ตาม มีตัวชี้วัดอื่นๆ ที่คุณอาจเลือกใช้เพื่อประเมินความเหมาะสมของแบบจำลองการถดถอย รวมถึงข้อผิดพลาดการทำนายการตรวจสอบความถูกต้องข้าม, Cp, BIC, AIC หรือ ^R2 ที่ปรับปรุงแล้ว

โชคดีที่ซอฟต์แวร์ทางสถิติส่วนใหญ่ช่วยให้คุณสามารถระบุหน่วยวัดที่คุณต้องการใช้เมื่อเลือกโดยตรง

แหล่งข้อมูลเพิ่มเติม

บทช่วยสอนต่อไปนี้ให้ข้อมูลเพิ่มเติมเกี่ยวกับแบบจำลองการถดถอย:

คู่มือเกี่ยวกับพหุคอลลิเนียร์ริตีและ VIF ในการถดถอย
ค่า AIC ที่ดีเรียกว่าอะไร?