การใช้ Curve Fitting ใน Predictive Analytics - Dummies

Curve fitting เป็นกระบวนการที่ใช้ในการวิเคราะห์เชิงคาดการณ์ซึ่งเป้าหมายคือการสร้าง เส้นโค้งที่แสดงถึงฟังก์ชันทางคณิตศาสตร์ที่เหมาะกับจุดข้อมูลจริง (เดิม) ในชุดข้อมูล

เส้นโค้งสามารถผ่านจุดข้อมูลทุกจุดหรืออยู่ในกลุ่มข้อมูลโดยไม่สนใจจุดข้อมูลบางส่วนด้วยความหวังในการวาดแนวโน้มจากข้อมูล ในทั้งสองกรณีหนึ่งฟังก์ชันทางคณิตศาสตร์เดียวจะถูกกำหนดให้กับเนื้อหาทั้งหมดโดยมีเป้าหมายเพื่อปรับจุดข้อมูลทั้งหมดให้เป็นเส้นโค้งที่วาดภาพแนวโน้มและช่วยในการคาดเดา

การปรับเส้นโค้งสามารถทำได้ด้วยวิธีใดวิธีหนึ่งดังต่อไปนี้:

• การหาพอดีกับจุดข้อมูลทุกอย่าง (กระบวนการที่เรียกว่า interpolation )

• การอยู่ภายใน เป็นส่วนใหญ่ของข้อมูลในขณะที่ละเลยจุดข้อมูลบางส่วนด้วยความหวังในการดึงแนวโน้มออกจากข้อมูล

• โดยการใช้ข้อมูลที่ราบรื่นเพื่อให้เกิดฟังก์ชันที่แสดงถึงกราฟที่ราบเรียบ

สามารถใช้ Curve Fitting ในการกรอกจุดข้อมูลที่เป็นไปได้เพื่อแทนที่ค่าที่หายไปหรือช่วยให้นักวิเคราะห์สามารถมองเห็นข้อมูลได้

เมื่อคุณกำลังพยายามสร้างรูปแบบการวิเคราะห์เชิงคาดการณ์โปรดหลีกเลี่ยงการปรับแต่งโมเดลให้พอดีกับตัวอย่างข้อมูลของคุณอย่างสมบูรณ์ โมเดลดังกล่าวจะล้มเหลว - อย่างน่าสังเวช - เพื่อทำนายชุดข้อมูลที่คล้ายกันซึ่งต่างกันออกไปนอกกลุ่มตัวอย่างข้อมูล การใส่แบบจำลองใกล้ชิดกับตัวอย่างข้อมูลมากที่สุดคือข้อผิดพลาดแบบคลาสสิกที่เรียกว่า overfitting

การใช้โมเดลเป็นแบบอย่างที่ดีคือกับดักที่พบโดยทั่วไปเนื่องจากผู้คนต้องการสร้างโมเดลที่ทำงานและมีแนวโน้มที่จะเก็บตัวแปรและพารามิเตอร์ต่างๆไว้จนกว่าโมเดลจะทำงานอย่างสมบูรณ์โดยมีข้อมูลน้อยเกินไป การทำผิดพลาดคือมนุษย์ โชคดีที่ยังเป็นมนุษย์ในการสร้างโซลูชันที่เหมือนจริง

เพื่อหลีกเลี่ยงการใช้โมเดลกับชุดข้อมูลตัวอย่างของคุณมากเกินไปต้องแน่ใจว่าได้มีข้อมูลการทดสอบที่แยกจากข้อมูลตัวอย่างของคุณ จากนั้นคุณสามารถวัดประสิทธิภาพของโมเดลของคุณได้อย่างอิสระก่อนที่จะทำให้โมเดลทำงานได้

การป้องกันโดยทั่วไปเพื่อป้องกันข้อมูลส่วนเกินคือการแบ่งข้อมูลของคุณออกเป็นสองส่วน ได้แก่ ข้อมูลการฝึกอบรมและข้อมูลการทดสอบ ประสิทธิภาพของโมเดลกับข้อมูลทดสอบจะบอกคุณมากเกี่ยวกับว่าโมเดลนั้นพร้อมสำหรับโลกแห่งความเป็นจริงแล้วหรือยัง

แนวทางปฏิบัติที่ดีที่สุดอีกประการหนึ่งคือเพื่อให้แน่ใจว่าข้อมูลของคุณแสดงถึงประชากรที่มากขึ้นของโดเมนที่คุณกำลังสร้างโมเดล โมเดลที่ได้รับการฝึกฝนทั้งหมดจะรู้เป็นคุณลักษณะเฉพาะของชุดข้อมูลตัวอย่างที่ได้รับการฝึกอบรม หากคุณฝึกแบบจำลองเฉพาะในการขาย snowshoe (กล่าว) ในช่วงฤดูหนาวไม่ต้องแปลกใจถ้ามันล้มเหลวอย่างน่าสังเวชเมื่อมันทำงานอีกครั้งกับข้อมูลจากฤดูกาลอื่น ๆ

วิธีหลีกเลี่ยงการ overfitting

เป็นเรื่องที่ต้องทำซ้ำ: การปรับแต่งรูปแบบมากเกินไปอาจส่งผลให้ overfitting หนึ่งบิดดังกล่าวรวมถึงตัวแปรมากเกินไปในการวิเคราะห์ เก็บตัวแปรเหล่านี้ไว้ให้น้อยที่สุด รวมเฉพาะตัวแปรที่คุณเห็นว่าจำเป็นอย่างยิ่งเท่านั้นซึ่งเป็นสิ่งที่คุณเชื่อว่าจะสร้างความแตกต่างอย่างมีนัยสำคัญกับผลลัพธ์

ข้อมูลเชิงลึกนี้มาจากความสนิทสนมของโดเมนธุรกิจที่คุณเข้ามาเท่านั้นซึ่งเป็นที่ที่ความชำนาญของผู้เชี่ยวชาญด้านโดเมนสามารถช่วยให้คุณหลุดจากกับดักของการโอเวอร์โหลด

ต่อไปนี้เป็นรายการตรวจสอบแนวทางปฏิบัติที่ดีที่สุดเพื่อช่วยคุณหลีกเลี่ยงการใช้โมเดลของคุณ:

เลือกชุดข้อมูลที่จะทำงานร่วมกับตัวแทนที่เป็นตัวแทนของประชากรโดยรวม

แบ่งชุดข้อมูลของคุณออกเป็นสองส่วนคือข้อมูลการฝึกอบรมและข้อมูลการทดสอบ

• เก็บตัวแปรที่วิเคราะห์ไว้ให้อยู่ในระดับที่ดีต่อสุขภาพสำหรับงานที่มีอยู่

• ขอความช่วยเหลือจากผู้เชี่ยวชาญด้านความรู้โดเมน

• ในตลาดหุ้นเช่นเทคนิคการวิเคราะห์แบบคลาสสิกคือ

• การทดสอบย้อนกลับ

- การเรียกใช้โมเดลกับข้อมูลในอดีตเพื่อค้นหากลยุทธ์การซื้อขายที่ดีที่สุด สมมติว่าหลังจากใช้โมเดลใหม่ของเขากับข้อมูลที่สร้างโดยตลาดวัวล่าสุดและปรับตัวเลขตัวแปรที่ใช้ในการวิเคราะห์ของเขานักวิเคราะห์จะสร้างสิ่งที่ดูเหมือนว่าเป็นกลยุทธ์การซื้อขายที่ดีที่สุดซึ่งจะให้ผลตอบแทนสูงสุด < ถ้า เขาสามารถกลับไปค้าขายได้ในระหว่างปีที่ผลิตข้อมูลทดสอบเท่านั้น แต่น่าเสียดายที่เขาไม่สามารถ

ถ้าเขาพยายามใช้โมเดลดังกล่าวในตลาดหมีปัจจุบันดูด้านล่าง: เขาจะสูญเสียโดยการใช้แบบจำลองที่เหมาะสมกับช่วงเวลาและชุดเงื่อนไขที่ไม่เหมาะสมกับความเป็นจริงในปัจจุบัน (มากสำหรับผลกำไรสมมุติ.) รูปแบบการทำงานเฉพาะสำหรับตลาดวัวหายไปเนื่องจากได้รับการฝึกอบรมมากแบกแบกภาระของบริบทที่ผลิตข้อมูลตัวอย่าง - พร้อมกับรายละเอียดเฉพาะของตนนอกคอกและข้อบกพร่อง สถานการณ์ทั้งหมดรอบชุดข้อมูลดังกล่าวอาจจะไม่ได้รับการทำซ้ำในอนาคตหรือในการเป็นตัวแทนที่แท้จริงของประชากรทั้งหมด แต่พวกเขาทั้งหมดปรากฏตัวขึ้นในรูปแบบที่ติดตั้งไว้ ถ้าเอาต์พุตของโมเดลนั้นมีความถูกต้องมากเกินไปให้พิจารณาคำแนะนำเพื่อดูใกล้ ๆ ขอความช่วยเหลือจากผู้เชี่ยวชาญด้านความรู้โดเมนเพื่อดูว่าผลลัพธ์ของคุณดีเกินจริงและใช้โมเดลดังกล่าวกับข้อมูลการทดสอบเพิ่มเติมสำหรับการเปรียบเทียบต่อไป