วิธีการทดสอบแบบจำลองการวิเคราะห์คาดการณ์ - หุ่น

เพื่อให้สามารถทดสอบรูปแบบการวิเคราะห์เชิงคาดการณ์ที่คุณสร้างขึ้นได้คุณต้องแบ่งข้อมูลของคุณออกเป็นชุดข้อมูลสองชุด ได้แก่ ชุดฝึกอบรมและชุดทดสอบ ควรเลือกชุดข้อมูลเหล่านี้แบบสุ่มและควรเป็นตัวแทนที่ดีของประชากรที่แท้จริง

• ควรใช้ข้อมูลที่คล้ายกันสำหรับทั้งชุดข้อมูลการฝึกอบรมและชุดทดสอบ

• โดยปกติชุดข้อมูลการฝึกอบรมจะมีขนาดใหญ่กว่าชุดข้อมูลการทดสอบ

• การใช้ชุดข้อมูลทดสอบช่วยให้คุณหลีกเลี่ยงข้อผิดพลาดต่างๆเช่น overfitting

• โมเดลที่ผ่านการฝึกอบรมได้รับการทดสอบจากข้อมูลการทดสอบเพื่อดูว่ารูปแบบจะทำงานได้ดีเพียงใด

นักวิทยาศาสตร์ข้อมูลบางคนชอบที่จะมีชุดข้อมูลที่สามซึ่งมีลักษณะคล้ายคลึงกับชุดข้อมูลสองตัวแรก: ชุดตรวจสอบ แนวคิดคือถ้าคุณกำลังใช้ข้อมูลทดสอบของคุณเพื่อปรับแต่งโมเดลของคุณคุณควรใช้ชุดที่สาม (แยกต่างหาก) เพื่อตรวจสอบความถูกต้องของโมเดล

การมีชุดข้อมูลการตรวจสอบความถูกต้องซึ่งไม่ได้ใช้เป็นส่วนหนึ่งของกระบวนการพัฒนารูปแบบของคุณช่วยให้มั่นใจได้ว่าการประมาณความถูกต้องและประสิทธิภาพของโมเดลนั้นเป็นกลาง

หากคุณสร้างโมเดลหลายรูปแบบโดยใช้อัลกอริทึมต่างๆตัวอย่างการตรวจสอบความถูกต้องสามารถช่วยคุณประเมินว่ารูปแบบใดมีประสิทธิภาพดีที่สุด

ตรวจสอบให้แน่ใจว่าคุณได้ตรวจสอบการทำงานของคุณในการพัฒนาและทดสอบโมเดลอีกครั้ง โดยเฉพาะอย่างยิ่งหากสงสัยว่าประสิทธิภาพหรือความถูกต้องของแบบจำลองดูเหมือนจะดีเกินจริง ข้อผิดพลาดอาจเกิดขึ้นได้ตามที่คุณคาดหวังอย่างน้อยที่สุด การคำนวณวันที่อย่างไม่ถูกต้องสำหรับข้อมูลชุดข้อมูลตามเวลาตัวอย่างเช่นอาจทำให้เกิดผลลัพธ์ที่ไม่ถูกต้อง

การตรวจสอบข้าม

Cross Validation เป็นเทคนิคยอดนิยมที่คุณสามารถใช้ในการประเมินและตรวจสอบรุ่นของคุณได้ หลักการเดียวกันในการใช้ชุดข้อมูลแยกต่างหากสำหรับการทดสอบและการฝึกอบรมใช้ที่นี่: ข้อมูลการฝึกอบรมถูกใช้เพื่อสร้างโมเดล แบบจำลองจะถูกเรียกใช้กับชุดทดสอบเพื่อคาดเดาข้อมูลที่ยังไม่เคยเห็นมาก่อนซึ่งเป็นวิธีหนึ่งในการประเมินความถูกต้อง

ในการตรวจสอบข้ามข้อมูลที่ผ่านมาจะแบ่งเป็นจำนวน X ของส่วนย่อย ทุกครั้งที่มีการเลือกเซตย่อยเพื่อใช้เป็นข้อมูลทดสอบส่วนย่อยอื่น ๆ ทั้งหมดจะถูกใช้เป็นข้อมูลการฝึกอบรม จากนั้นในการดำเนินการครั้งต่อไปชุดทดสอบเดิมจะกลายเป็นชุดฝึกอบรมและชุดฝึกอบรมชุดเก่าจะกลายเป็นชุดทดสอบ

กระบวนการดำเนินต่อไปจนกว่าชุดย่อยทั้งหมดของชุด X นั้นจะถูกใช้เป็นชุดทดสอบ

ตัวอย่างเช่นสมมติว่าคุณมีชุดข้อมูลที่คุณได้แบ่งออกเป็น 5 ชุดที่มีหมายเลขตั้งแต่ 1 ถึง 5 ในช่วงแรกคุณใช้ชุดที่ 1 เป็นชุดทดสอบและใช้ชุดชุดฝึกอบรม 2, 3, 4 และ 5.จากนั้นในช่วงที่สองคุณใช้ชุดที่ 2 เป็นชุดทดสอบและตั้งค่าชุดฝึกอบรม 1, 3, 4 และ 5

คุณดำเนินการต่อขั้นตอนนี้ต่อไปจนกว่าชุดย่อยทั้งหมดของชุด 5 ชุดจะถูกใช้เป็นชุดทดสอบ

การตรวจสอบข้ามช่วยให้คุณสามารถใช้ข้อมูลทุกจุดในข้อมูลที่ผ่านมาของคุณสำหรับการฝึกอบรมและการทดสอบ เทคนิคนี้มีประสิทธิภาพมากกว่าการแยกข้อมูลที่ผ่านมาของคุณออกเป็นสองชุดโดยใช้ชุดที่มีข้อมูลมากที่สุดสำหรับการฝึกอบรมโดยใช้ชุดอื่น ๆ สำหรับการทดสอบและทิ้งไว้ที่นั่น

เมื่อคุณข้ามการตรวจสอบข้อมูลของคุณคุณจะปกป้องตนเองจากการสุ่มเลือกข้อมูลทดสอบที่ง่ายเกินไปที่จะคาดเดาซึ่งจะทำให้คุณรู้สึกผิดพลาดว่าโมเดลของคุณถูกต้อง หรือหากคุณเกิดขึ้นในการเลือกข้อมูลทดสอบที่ยากเกินไปที่จะทำนายคุณอาจสรุปได้ว่าโมเดลของคุณไม่ทำงานตามที่คุณคาดหวังไว้

Cross validation ใช้กันอย่างแพร่หลายไม่เพียง แต่เพื่อตรวจสอบความถูกต้องของโมเดลเท่านั้น แต่ยังสามารถเปรียบเทียบประสิทธิภาพของโมเดลได้อีกด้วย

การปรับความลำเอียงและความแปรปรวน

ความลำเอียงและความแปรปรวนเป็นสองแหล่งข้อผิดพลาดที่เกิดขึ้นขณะที่คุณกำลังสร้างแบบจำลองการวิเคราะห์ของคุณ

Bias เป็นผลมาจากการสร้างแบบจำลองที่ช่วยลดความซับซ้อนในการนำเสนอความสัมพันธ์ระหว่างจุดข้อมูลในข้อมูลย้อนหลังที่ใช้ในการสร้างโมเดล

ความแปรปรวน เป็นผลมาจากการสร้างแบบจำลองที่เจาะจงเฉพาะกับข้อมูลที่ใช้ในการสร้างโมเดล

การบรรลุความสมดุลระหว่างความลำเอียงและความแปรปรวนโดยการลดความแปรปรวนและการยอมรับอคติบางอย่างอาจนำไปสู่รูปแบบการทำนายที่ดีขึ้น การตัดจำหน่ายนี้มักจะนำไปสู่การสร้างแบบจำลองการทำนายที่ซับซ้อนน้อยกว่า

มีการสร้างอัลกอริธึมการทำเหมืองข้อมูลจำนวนมากเพื่อคำนึงถึงความแตกต่างระหว่างความลำเอียงและความแปรปรวนนี้

การแก้ปัญหาความคิด

เมื่อคุณกำลังทดสอบโมเดลของคุณและพบว่าตัวเองไปที่ใดแล้วต่อไปนี้เป็นแนวคิดที่ควรพิจารณาว่าอาจช่วยให้คุณกลับมาดำเนินการต่อได้:

• ตรวจสอบงานของคุณทุกครั้ง คุณอาจมองข้ามสิ่งที่คุณคิดว่าถูกต้อง แต่ไม่ได้ ข้อบกพร่องดังกล่าวอาจปรากฏขึ้น (ตัวอย่างเช่น) ในหมู่ค่าของตัวแปรคาดการณ์ในชุดข้อมูลหรือในการประมวลผลล่วงหน้าที่คุณใช้กับข้อมูล

• ถ้าอัลกอริธึมที่คุณเลือกไม่ได้ผลลัพธ์ใด ๆ ให้ลองใช้อัลกอริธึมอื่น ตัวอย่างเช่นคุณลองใช้อัลกอริทึมการจำแนกหลายแบบและขึ้นอยู่กับข้อมูลและวัตถุประสงค์ทางธุรกิจของโมเดลซึ่งหนึ่งในนั้นอาจทำงานได้ดีกว่าที่อื่น ๆ

• ลองเลือกตัวแปรอื่นหรือสร้างตัวแปรที่ได้มาใหม่ คอยมองหาตัวแปรที่มีอำนาจการคาดการณ์อยู่เสมอ

• บ่อยๆปรึกษากับผู้เชี่ยวชาญด้านโดเมนของธุรกิจที่สามารถช่วยให้คุณเข้าใจข้อมูลเลือกตัวแปรและแปลผลของแบบจำลอง