สี่เหลี่ยมด้านล่าง

โดย ดร.เบนจามิน แอนเดอร์สัน สิงหาคม 2, 2023 สถิติ 0 ความคิดเห็น

บทความนี้จะอธิบายว่ากำลังสองน้อยที่สุดในสถิติ วิธีกำลังสองน้อยที่สุดคืออะไร และวิธีใช้แบบจำลองการถดถอยตามเกณฑ์กำลังสองน้อยที่สุด

วิธีกำลังสองน้อยที่สุดคืออะไร?

วิธีกำลังสองน้อยที่สุด เป็นวิธีทางสถิติที่ใช้ในการหาสมการของการถดถอย กล่าวอีกนัยหนึ่ง วิธีกำลังสองน้อยที่สุดคือเกณฑ์ที่ใช้ในแบบจำลองการถดถอยเพื่อลดข้อผิดพลาดที่ได้รับเมื่อคำนวณสมการถดถอย

โดยรูปธรรม วิธีกำลังสองน้อยที่สุดประกอบด้วยการลดผลรวมของกำลังสองของส่วนที่เหลือให้เหลือน้อยที่สุด หรือกล่าวอีกนัยหนึ่งคือขึ้นอยู่กับการลดผลรวมของกำลังสองของความแตกต่างระหว่างค่าที่ทำนายโดยแบบจำลองการถดถอยและค่าที่สังเกตได้ . . ด้านล่างนี้เราจะดูรายละเอียดว่าแบบจำลองการถดถอยถูกติดตั้งโดยเกณฑ์กำลังสองน้อยที่สุดได้อย่างไร

คุณสมบัติหลักของวิธีกำลังสองน้อยที่สุดคือระยะทางที่ยาวที่สุดระหว่างค่าที่สังเกตได้และฟังก์ชันการถดถอยจะลดลง วิธีกำลังสองน้อยที่สุดแตกต่างจากเกณฑ์การถดถอยอื่นๆ ถือว่าการลดจำนวนตกค้างจำนวนมากให้เหลือน้อยที่สุดนั้นสำคัญกว่าจำนวนที่เหลือขนาดเล็ก เนื่องจากกำลังสองของจำนวนมากมีขนาดใหญ่กว่ากำลังสองของจำนวนน้อยมาก ตัวเลข.

ข้อผิดพลาดในการประมาณค่า

เพื่อให้เข้าใจแนวคิดเรื่องกำลังสองน้อยที่สุดอย่างถ่องแท้ เราต้องเข้าใจให้แน่ชัดก่อนว่ายังมีเศษเหลืออยู่ในแบบจำลองการถดถอยใดบ้าง ดังนั้นเราจะดูด้านล่างว่าข้อผิดพลาดในการประมาณค่าคืออะไรและมีการคำนวณอย่างไร

ในสถิติ ข้อผิดพลาดในการประมาณค่า หรือที่เรียกว่า ค่าคงเหลือ คือความแตกต่างระหว่างค่าจริงและค่าที่เหมาะสมโดยแบบจำลองการถดถอย ส่วนที่เหลือทางสถิติจึงคำนวณดังนี้:

$e_i=y_i-\widehat{y}_i$

ทอง:

$e_i$

คือข้อมูลที่เหลือ i
$y_i$

คือมูลค่าที่แท้จริงของข้อมูล i
$\widehat{y}_i$

คือค่าที่ได้จากแบบจำลองการถดถอยสำหรับข้อมูล i

ดังนั้น ยิ่งชิ้นส่วนข้อมูลที่เหลือมีขนาดใหญ่เท่าใด โมเดลการถดถอยก็จะถูกปรับให้เข้ากับข้อมูลชิ้นนี้ก็จะยิ่งแย่ลงเท่านั้น ดังนั้น ยิ่งเหลือน้อย ระยะห่างระหว่างค่าจริงกับค่าที่คาดการณ์ก็จะยิ่งน้อยลง

ในทำนองเดียวกัน หากข้อมูลที่เหลือเป็นบวก หมายความว่าแบบจำลองการถดถอยทำนายค่าที่ต่ำกว่าค่าจริง ในขณะที่ถ้าส่วนที่เหลือเป็นลบก็หมายความว่าค่าที่คาดการณ์ไว้นั้นมากกว่าค่าจริง

ลดขนาดกำลังสองของข้อผิดพลาดให้เหลือน้อยที่สุด

ตอนนี้เรารู้แล้วว่าค่าคงเหลือในสถิติมีค่าเท่าใด เราจะเข้าใจได้ง่ายขึ้นว่าค่าคลาดเคลื่อนกำลังสองจะลดลงอย่างไร

กำลังสองของค่าคลาดเคลื่อน คือกำลังสองของค่าตกค้าง ดังนั้นค่ากำลังสองของค่าคลาดเคลื่อนจึงเท่ากับผลต่างระหว่างค่าจริงกับค่าที่พอดีโดยแบบจำลองการถดถอยยกกำลังสอง

$e_i^2=(y_i-\widehat{y}_i)^2$

ทอง:

$e_i^2$

คือกำลังสองของข้อมูลที่เหลือ i
$y_i$

คือมูลค่าที่แท้จริงของข้อมูล i
$\widehat{y}_i$

คือค่าที่ได้จากแบบจำลองการถดถอยสำหรับข้อมูล i

ดังนั้น วิธีกำลังสองน้อยที่สุดประกอบด้วยการสร้างแบบจำลองการถดถอย โดยการลดผลรวมของกำลังสองของข้อผิดพลาดให้เหลือน้อยที่สุด เกณฑ์กำลังสองน้อยที่สุดจึงขึ้นอยู่กับการลดทอนนิพจน์ต่อไปนี้:

$\begin{array}{l} [MIN] \ \displaystyle \sum_{i=1}^ne_i^2\\[4ex][MIN] \ \displaystyle \sum_{i=1}^n(y_i-\widehat{y}_i)^2\end{array}$

นี่คือสาเหตุที่เกณฑ์กำลังสองน้อยที่สุดเรียกอีกอย่างว่าเกณฑ์กำลังสองน้อยที่สุด

ดังที่คุณเห็นในสูตรก่อนหน้านี้ เกณฑ์กำลังสองน้อยที่สุดให้ความสำคัญกับการลดปริมาณสารตกค้างจำนวนมากให้เหลือน้อยที่สุดมากกว่าปริมาณสารตกค้างที่มีขนาดเล็ก ตัวอย่างเช่น ถ้าเรซิดิวตัวหนึ่งคือ 3 และเรซิดิวอีกตัวคือ 5 กำลังสองของพวกมันจะเป็น 9 และ 25 ตามลำดับ ดังนั้นเกณฑ์กำลังสองที่น้อยที่สุดจะจัดลำดับความสำคัญในการลดจำนวนเรซิดิวตัวที่สองก่อนเรซิดิวตัวแรก

การปรับกำลังสองน้อยที่สุด

การปรับแบบจำลองการถดถอยโดยใช้เกณฑ์กำลังสองน้อยที่สุด ประกอบด้วยการค้นหาแบบจำลองการถดถอยที่จะลดกำลังสองของส่วนที่เหลือให้เหลือน้อยที่สุด ดังนั้นสมการที่ได้จากแบบจำลองการถดถอยจะเป็นสมการที่มีค่ากำลังสองของความแตกต่างระหว่างค่าที่สังเกตได้และค่าที่พอดีมีน้อยที่สุด

หมายเหตุในตัวอย่างต่อไปนี้ว่ามีเกณฑ์เพิ่มเติมสำหรับการสร้างแบบจำลองการถดถอย และสมการการถดถอยจะแตกต่างกัน ขึ้นอยู่กับเกณฑ์ที่เลือก

วิธีกำลังสองน้อยที่สุด, การปรับกำลังสองน้อยที่สุด

ดังที่คุณเห็นในตัวอย่างก่อนหน้านี้ เส้นที่ได้รับจากแบบจำลองการถดถอยเชิงเส้นสำหรับชุดข้อมูลเดียวกันจะขึ้นอยู่กับเกณฑ์ที่เลือก โดยทั่วไป เกณฑ์กำลังสองน้อยที่สุดจะใช้ในแบบจำลองการถดถอย

ในสถิติ แบบจำลองการถดถอยที่ใช้กันอย่างแพร่หลายที่สุดคือแบบจำลองการถดถอยเชิงเส้นอย่างง่าย ซึ่งประกอบด้วยการประมาณความสัมพันธ์ระหว่างตัวแปรอิสระ X และตัวแปรตาม Y โดยใช้เส้นตรง

$y=b_0+b_1x$

ดังนั้น สูตรในการปรับชุดข้อมูลให้เข้ากับแบบจำลองการถดถอยเชิงเส้นอย่างง่ายมีดังนี้

$b_1=\cfrac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})(y_i-\overline{y})}{\displaystyle \sum_{i=1}^n (x_i-\overline{x})^2}$

$b_0=\overline{y}-b_1\overline{x}$

คุณสามารถดูตัวอย่างวิธีคำนวณแบบจำลองการถดถอยเชิงเส้นอย่างง่ายโดยใช้เกณฑ์กำลังสองน้อยที่สุดได้โดยคลิกลิงก์ต่อไปนี้:

➤ ดู: ตัวอย่างของการถดถอยเชิงเส้นอย่างง่าย

เกี่ยวกับผู้แต่ง

ดร.เบนจามิน แอนเดอร์สัน

สวัสดี ฉันชื่อเบนจามิน ศาสตราจารย์สถิติเกษียณอายุแล้ว และผันตัวมาเป็นครูสอนสถิติโดยเฉพาะ ด้วยประสบการณ์และความเชี่ยวชาญที่กว้างขวางในสาขาสถิติ ฉันกระตือรือร้นที่จะแบ่งปันความรู้ของฉันเพื่อเสริมศักยภาพนักเรียนผ่าน Statorials. รู้เพิ่มเติม