วิธีการตรวจสอบเพื่อการเรียนรู้ด้วยเครื่องจักรคือการตรวจสอบวิธีแก้ไขที่เป็นไปได้ในการสุ่มตัวอย่างในการสุ่มตัวอย่าง ความลำเอียงในการสุ่มตัวอย่างอาจเกิดขึ้นกับข้อมูลของคุณก่อนที่การเรียนรู้ด้วยเครื่องจะถูกนำไปปฏิบัติและทำให้เกิดความแปรปรวนมากขึ้นของค่าประมาณต่อไปนี้ นอกจากนี้คุณควรตระหนักถึงกับดักรั่วซึ่งอาจเกิดขึ้นได้เมื่อข้อมูลบางส่วนจากตัวอย่างที่ไม่อยู่ในกลุ่มตัวอย่างส่งผ่านไปยังข้อมูลในตัวอย่าง ปัญหานี้อาจเกิดขึ้นเมื่อคุณเตรียมข้อมูลหรือหลังจากโมเดลการเรียนรู้ด้วยเครื่องของคุณพร้อมและทำงานแล้ว
การรักษาซึ่งเรียกว่า ensembling of predictors ทำงานได้ดีเมื่อตัวอย่างการฝึกอบรมของคุณไม่บิดเบี้ยวอย่างสมบูรณ์และการกระจายตัวของมันแตกต่างจากตัวอย่างที่ไม่ได้ตัวอย่างเช่น เช่นเดียวกับเมื่อทุกชั้นเรียนของคุณมีอยู่ แต่ไม่อยู่ในสัดส่วนที่เหมาะสม (เป็นตัวอย่าง) ในกรณีเช่นนี้ผลการค้นหาของคุณจะได้รับผลกระทบจากความแปรปรวนบางส่วนของค่าประมาณที่คุณสามารถปรับได้โดยใช้วิธีการสุ่มตัวอย่างเช่นในการบูต; โดยการสุ่มตัวอย่าง (การสุ่มตัวอย่างตัวอย่าง); หรือโดยใช้ตัวอย่างขนาดเล็ก (ซึ่งเพิ่มความลำเอียง)
เพื่อให้เข้าใจว่า ensembling ทำงานได้ดีเพียงใดให้จินตนาการภาพลักษณ์ของตาวัว ถ้าตัวอย่างของคุณมีผลต่อการคาดคะเนการคาดการณ์บางอย่างจะเป็นที่แน่นอนและบางอย่างจะผิดพลาดแบบสุ่ม หากคุณเปลี่ยนตัวอย่างการคาดการณ์ที่ถูกต้องจะเป็นไปในทิศทางที่ถูกต้อง แต่คนที่ไม่ถูกต้องจะเริ่มมีการเปลี่ยนแปลงระหว่างค่าต่างๆกัน ค่าบางอย่างจะเป็นคำทำนายที่แน่นอนที่คุณต้องการ คนอื่น ๆ ก็จะแกว่งไปมาทางขวา
ในกรณีส่วนใหญ่วิธีการดังกล่าวพิสูจน์ให้ถูกต้องและปรับปรุงการคาดการณ์การเรียนรู้ของเครื่องเป็นจำนวนมาก เมื่อปัญหาของคุณมีอคติและไม่แปรปรวนใช้ ensembling จริงๆไม่ก่อให้เกิดอันตรายเว้นแต่คุณ subsample ตัวอย่างน้อยเกินไป หลักเกณฑ์ที่ดีสำหรับการเก็บข้อมูลย่อยคือการสุ่มตัวอย่างจาก 70 ถึง 90 เปอร์เซ็นต์เมื่อเทียบกับข้อมูลตัวอย่างในต้นฉบับ ถ้าคุณต้องการทำงานร่วมกันคุณควรดำเนินการต่อไปนี้:ทำซ้ำหลาย ๆ ครั้งผ่านข้อมูลและแบบจำลองของคุณ (ตั้งแต่ขั้นต่ำสุดถึง 3 ซ้ำไปจนถึงหลายร้อยครั้ง)
- ทุกครั้งที่คุณทำซ้ำให้ subsample (หรือ else bootstrap) ข้อมูลตัวอย่างของคุณ
- ใช้การเรียนรู้ของเครื่องสำหรับโมเดลในข้อมูลที่มีการสุ่มและทำนายผลลัพธ์ที่ไม่เป็นไปตามแบบตัวอย่าง จัดเก็บผลลัพธ์เหล่านี้ไว้เพื่อใช้ในภายหลัง
- ในตอนท้ายของการทำซ้ำสำหรับกรณีตัวอย่างทุกตัวอย่างที่คุณต้องการคาดการณ์ให้ใช้การคาดการณ์ทั้งหมดและคำนวณค่าเฉลี่ยเหล่านี้หากคุณกำลังถดถอย เรียนบ่อยที่สุดหากคุณกำลังจัดประเภท
- กับดักการรั่วไหลอาจทำให้คุณประหลาดใจเพราะสามารถพิสูจน์ได้ว่าเป็นแหล่งที่มาของปัญหาที่ไม่รู้จักและไม่สามารถตรวจพบได้จากกระบวนการเรียนรู้ด้วยเครื่องของคุณ ปัญหาคือการสอดแนมหรือการสังเกตข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างมากเกินไปและปรับตัวให้เข้ากับบ่อยเกินไป ในระยะสั้นการสอดแนมเป็นสิ่งที่เหมาะสมยิ่งกว่า - ไม่ใช่เฉพาะข้อมูลการฝึกอบรมเท่านั้น แต่ยังรวมถึงข้อมูลการทดสอบทำให้ปัญหาที่พบบ่อยขึ้นยากขึ้นเรื่อย ๆ จนกว่าคุณจะได้รับข้อมูลใหม่
โดยปกติคุณตระหนักว่าปัญหากำลังสอดแนมเมื่อคุณใช้อัลกอริทึมการเรียนรู้เครื่องกับธุรกิจของคุณหรือไปใช้บริการสาธารณะแล้วทำให้ปัญหาเป็นปัญหาที่ทุกคนสามารถเห็นได้
คุณสามารถหลีกเลี่ยงการสอดแนมได้สองวิธี ขั้นแรกเมื่อใช้ข้อมูลให้ระมัดระวังในการแยกการฝึกอบรมการตรวจสอบและข้อมูลการทดสอบอย่างละเอียด นอกจากนี้เมื่อประมวลผลแล้วอย่าใช้ข้อมูลใด ๆ จากการตรวจสอบหรือทดสอบแม้แต่ตัวอย่างที่เรียบง่ายและดูไร้เดียงสา ที่เลวร้ายยิ่งก็คือการใช้การเปลี่ยนแปลงที่ซับซ้อนโดยใช้ข้อมูลทั้งหมด
ตัวอย่างเช่นในด้านการเงินเป็นที่ทราบกันดีว่าการคำนวณค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน (ซึ่งสามารถบอกคุณได้มากเกี่ยวกับสภาวะตลาดและความเสี่ยง) จากข้อมูลการฝึกอบรมและข้อมูลการทดสอบทั้งหมดสามารถรั่วไหลข้อมูลที่มีค่าเกี่ยวกับแบบจำลองของคุณได้ เมื่อมีการรั่วไหลกลไกการเรียนรู้ของเครื่องจะทำการคาดการณ์ในชุดทดสอบแทนที่จะเป็นข้อมูลตัวอย่างจากตลาดซึ่งหมายความว่าไม่ได้ใช้งานเลยทำให้เกิดการสูญเสียเงิน
ตรวจสอบประสิทธิภาพของตัวอย่างที่ไม่อยู่ในตัวอย่าง ในความเป็นจริงคุณอาจนำข้อมูลบางส่วนมาใช้จากการสอดแนมผลการทดสอบเพื่อช่วยในการระบุว่าพารามิเตอร์บางอย่างดีกว่าตัวอื่นหรือทำให้คุณเลือกอัลกอริธึมการเรียนรู้ด้วยเครื่องจักรเพียงอันเดียวแทนวิธีอื่น สำหรับทุกรุ่นหรือพารามิเตอร์ให้ใช้ตัวเลือกของคุณตามผลการตรวจสอบข้ามหรือจากตัวอย่างการตรวจสอบ อย่าพลาดการรับของทานเล่นจากข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างของคุณหรือคุณจะเสียใจในภายหลัง
