บ้าน การเงินส่วนบุคคล หลีกเลี่ยงการพังทลายและการรั่วไหลของดักในการเรียนรู้ด้วยเครื่องจักร - มัมมี่

หลีกเลี่ยงการพังทลายและการรั่วไหลของดักในการเรียนรู้ด้วยเครื่องจักร - มัมมี่

Anonim

วิธีการตรวจสอบเพื่อการเรียนรู้ด้วยเครื่องจักรคือการตรวจสอบวิธีแก้ไขที่เป็นไปได้ในการสุ่มตัวอย่างในการสุ่มตัวอย่าง ความลำเอียงในการสุ่มตัวอย่างอาจเกิดขึ้นกับข้อมูลของคุณก่อนที่การเรียนรู้ด้วยเครื่องจะถูกนำไปปฏิบัติและทำให้เกิดความแปรปรวนมากขึ้นของค่าประมาณต่อไปนี้ นอกจากนี้คุณควรตระหนักถึงกับดักรั่วซึ่งอาจเกิดขึ้นได้เมื่อข้อมูลบางส่วนจากตัวอย่างที่ไม่อยู่ในกลุ่มตัวอย่างส่งผ่านไปยังข้อมูลในตัวอย่าง ปัญหานี้อาจเกิดขึ้นเมื่อคุณเตรียมข้อมูลหรือหลังจากโมเดลการเรียนรู้ด้วยเครื่องของคุณพร้อมและทำงานแล้ว

การรักษาซึ่งเรียกว่า ensembling of predictors ทำงานได้ดีเมื่อตัวอย่างการฝึกอบรมของคุณไม่บิดเบี้ยวอย่างสมบูรณ์และการกระจายตัวของมันแตกต่างจากตัวอย่างที่ไม่ได้ตัวอย่างเช่น เช่นเดียวกับเมื่อทุกชั้นเรียนของคุณมีอยู่ แต่ไม่อยู่ในสัดส่วนที่เหมาะสม (เป็นตัวอย่าง) ในกรณีเช่นนี้ผลการค้นหาของคุณจะได้รับผลกระทบจากความแปรปรวนบางส่วนของค่าประมาณที่คุณสามารถปรับได้โดยใช้วิธีการสุ่มตัวอย่างเช่นในการบูต; โดยการสุ่มตัวอย่าง (การสุ่มตัวอย่างตัวอย่าง); หรือโดยใช้ตัวอย่างขนาดเล็ก (ซึ่งเพิ่มความลำเอียง)

เพื่อให้เข้าใจว่า ensembling ทำงานได้ดีเพียงใดให้จินตนาการภาพลักษณ์ของตาวัว ถ้าตัวอย่างของคุณมีผลต่อการคาดคะเนการคาดการณ์บางอย่างจะเป็นที่แน่นอนและบางอย่างจะผิดพลาดแบบสุ่ม หากคุณเปลี่ยนตัวอย่างการคาดการณ์ที่ถูกต้องจะเป็นไปในทิศทางที่ถูกต้อง แต่คนที่ไม่ถูกต้องจะเริ่มมีการเปลี่ยนแปลงระหว่างค่าต่างๆกัน ค่าบางอย่างจะเป็นคำทำนายที่แน่นอนที่คุณต้องการ คนอื่น ๆ ก็จะแกว่งไปมาทางขวา

ในกรณีส่วนใหญ่วิธีการดังกล่าวพิสูจน์ให้ถูกต้องและปรับปรุงการคาดการณ์การเรียนรู้ของเครื่องเป็นจำนวนมาก เมื่อปัญหาของคุณมีอคติและไม่แปรปรวนใช้ ensembling จริงๆไม่ก่อให้เกิดอันตรายเว้นแต่คุณ subsample ตัวอย่างน้อยเกินไป หลักเกณฑ์ที่ดีสำหรับการเก็บข้อมูลย่อยคือการสุ่มตัวอย่างจาก 70 ถึง 90 เปอร์เซ็นต์เมื่อเทียบกับข้อมูลตัวอย่างในต้นฉบับ ถ้าคุณต้องการทำงานร่วมกันคุณควรดำเนินการต่อไปนี้:

ทำซ้ำหลาย ๆ ครั้งผ่านข้อมูลและแบบจำลองของคุณ (ตั้งแต่ขั้นต่ำสุดถึง 3 ซ้ำไปจนถึงหลายร้อยครั้ง)

  • ทุกครั้งที่คุณทำซ้ำให้ subsample (หรือ else bootstrap) ข้อมูลตัวอย่างของคุณ
  • ใช้การเรียนรู้ของเครื่องสำหรับโมเดลในข้อมูลที่มีการสุ่มและทำนายผลลัพธ์ที่ไม่เป็นไปตามแบบตัวอย่าง จัดเก็บผลลัพธ์เหล่านี้ไว้เพื่อใช้ในภายหลัง
  • ในตอนท้ายของการทำซ้ำสำหรับกรณีตัวอย่างทุกตัวอย่างที่คุณต้องการคาดการณ์ให้ใช้การคาดการณ์ทั้งหมดและคำนวณค่าเฉลี่ยเหล่านี้หากคุณกำลังถดถอย เรียนบ่อยที่สุดหากคุณกำลังจัดประเภท
  • กับดักการรั่วไหลอาจทำให้คุณประหลาดใจเพราะสามารถพิสูจน์ได้ว่าเป็นแหล่งที่มาของปัญหาที่ไม่รู้จักและไม่สามารถตรวจพบได้จากกระบวนการเรียนรู้ด้วยเครื่องของคุณ ปัญหาคือการสอดแนมหรือการสังเกตข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างมากเกินไปและปรับตัวให้เข้ากับบ่อยเกินไป ในระยะสั้นการสอดแนมเป็นสิ่งที่เหมาะสมยิ่งกว่า - ไม่ใช่เฉพาะข้อมูลการฝึกอบรมเท่านั้น แต่ยังรวมถึงข้อมูลการทดสอบทำให้ปัญหาที่พบบ่อยขึ้นยากขึ้นเรื่อย ๆ จนกว่าคุณจะได้รับข้อมูลใหม่

โดยปกติคุณตระหนักว่าปัญหากำลังสอดแนมเมื่อคุณใช้อัลกอริทึมการเรียนรู้เครื่องกับธุรกิจของคุณหรือไปใช้บริการสาธารณะแล้วทำให้ปัญหาเป็นปัญหาที่ทุกคนสามารถเห็นได้

คุณสามารถหลีกเลี่ยงการสอดแนมได้สองวิธี ขั้นแรกเมื่อใช้ข้อมูลให้ระมัดระวังในการแยกการฝึกอบรมการตรวจสอบและข้อมูลการทดสอบอย่างละเอียด นอกจากนี้เมื่อประมวลผลแล้วอย่าใช้ข้อมูลใด ๆ จากการตรวจสอบหรือทดสอบแม้แต่ตัวอย่างที่เรียบง่ายและดูไร้เดียงสา ที่เลวร้ายยิ่งก็คือการใช้การเปลี่ยนแปลงที่ซับซ้อนโดยใช้ข้อมูลทั้งหมด

ตัวอย่างเช่นในด้านการเงินเป็นที่ทราบกันดีว่าการคำนวณค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน (ซึ่งสามารถบอกคุณได้มากเกี่ยวกับสภาวะตลาดและความเสี่ยง) จากข้อมูลการฝึกอบรมและข้อมูลการทดสอบทั้งหมดสามารถรั่วไหลข้อมูลที่มีค่าเกี่ยวกับแบบจำลองของคุณได้ เมื่อมีการรั่วไหลกลไกการเรียนรู้ของเครื่องจะทำการคาดการณ์ในชุดทดสอบแทนที่จะเป็นข้อมูลตัวอย่างจากตลาดซึ่งหมายความว่าไม่ได้ใช้งานเลยทำให้เกิดการสูญเสียเงิน

ตรวจสอบประสิทธิภาพของตัวอย่างที่ไม่อยู่ในตัวอย่าง ในความเป็นจริงคุณอาจนำข้อมูลบางส่วนมาใช้จากการสอดแนมผลการทดสอบเพื่อช่วยในการระบุว่าพารามิเตอร์บางอย่างดีกว่าตัวอื่นหรือทำให้คุณเลือกอัลกอริธึมการเรียนรู้ด้วยเครื่องจักรเพียงอันเดียวแทนวิธีอื่น สำหรับทุกรุ่นหรือพารามิเตอร์ให้ใช้ตัวเลือกของคุณตามผลการตรวจสอบข้ามหรือจากตัวอย่างการตรวจสอบ อย่าพลาดการรับของทานเล่นจากข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างของคุณหรือคุณจะเสียใจในภายหลัง

หลีกเลี่ยงการพังทลายและการรั่วไหลของดักในการเรียนรู้ด้วยเครื่องจักร - มัมมี่

ตัวเลือกของบรรณาธิการ

ปรับ Infographics ให้ตรงกับกลุ่มเป้าหมายของคุณ - Dummies

ปรับ Infographics ให้ตรงกับกลุ่มเป้าหมายของคุณ - Dummies

สิ่งที่คนเห็นน่าหลงใหลสามารถแตกต่างไปจากสิ่งที่ดึงออกได้ ความสนใจของผู้อื่น การได้รับความสนใจจากผู้อ่าน Infographic ของคุณและจากนั้นจึงห้อยลงมาก่อนจำเป็นต้องมีความรู้สึกว่าใครเป็นผู้อ่านของคุณหรือคุณต้องการให้ผู้อ่านเป็นใคร ผู้อ่านเป็นกลุ่มเป้าหมายของคุณและทำให้คุณ ...

การจดจำลักษณะสามข้อของหุ่นจำลองที่มีประสิทธิภาพ

การจดจำลักษณะสามข้อของหุ่นจำลองที่มีประสิทธิภาพ

เมื่อทำแบบจำลองสีดำและสีขาวของคุณ เสร็จสมบูรณ์แล้วคุณก็พร้อมที่จะเพิ่มภาพจริงที่มีประสิทธิภาพซึ่งจะทำให้ปรากฏขึ้น นั่นเป็นเหตุผลที่คุณเริ่มต้นการเดินทางครั้งนี้ด้วยใช่ไหม? เมื่อเพิ่มภาพจริงลงในหนังสือจำลองของคุณคุณควรเน้นการเพิ่มภาพจริงที่มีประสิทธิภาพ น่าเสียดายเนื่องจากขาดความเป็นผู้นำด้านความคิดและการฝึกอบรมในธุรกิจ ...

พื้นผิวและรูปแบบใน Infographics - Dummies

พื้นผิวและรูปแบบใน Infographics - Dummies

บางครั้งคุณไม่สามารถพึ่งพาข้อมูลที่ถูกออกแบบและแบบอักษรได้ สำหรับ Infographic ของคุณ พื้นผิวและลวดลายสามารถประคองการออกแบบกราฟิกได้อย่างละเอียดแม้ว่าจะมีความละเอียดอ่อนก็ตาม การเพิ่มพื้นผิวหรือลวดลายสามารถให้ภาพที่สวยงามมากขึ้นซึ่งจะเพิ่มความน่าสนใจสำหรับผู้อ่าน องค์ประกอบในการออกแบบเหล่านี้สามารถสนับสนุนคุณได้ ...

ตัวเลือกของบรรณาธิการ

การสร้างปฏิทินรูปถ่ายใน Photoshop Elements - dummies

การสร้างปฏิทินรูปถ่ายใน Photoshop Elements - dummies

องค์ประกอบสามารถช่วยคุณออกแบบปฏิทินที่น่าสนใจ ของเด็ก ๆ ทีมฟุตบอลของเด็กผู้หญิงสมาคม Bullhead Moose หรือกิจกรรมอื่น ๆ ที่คุณต้องการจะทำ องค์ประกอบทำให้ง่ายต่อการสร้างปฏิทินที่ดูเป็นมืออาชีพ นี่เป็นวิธีที่คุณสร้างปฏิทินที่สามารถสั่งซื้อและพิมพ์ได้อย่างมืออาชีพผ่านทาง <...

การนำเข้าภาพจากโทรศัพท์ของคุณไปยัง Photoshop Elements 12 - หุ่น

การนำเข้าภาพจากโทรศัพท์ของคุณไปยัง Photoshop Elements 12 - หุ่น

คุณสามารถถ่ายภาพได้ จากโทรศัพท์มือถือ IPhones iPods iPads และอุปกรณ์มือถือที่หลากหลายสำหรับใช้ใน Photoshop Elements เป็นเรื่องของความเป็นจริงคุณสามารถทำได้ไม่น้อยกับการอัปโหลดดาวน์โหลดและเตรียมภาพถ่ายสำหรับอุปกรณ์มือถือ

การสร้างปฏิทินรูปถ่ายใน Photoshop Elements 11 - Dummies

การสร้างปฏิทินรูปถ่ายใน Photoshop Elements 11 - Dummies

คุณพร้อมที่จะออกแบบ ปฏิทินส่วนตัวโดยใช้ภาพถ่ายที่คุณชื่นชอบ? Photoshop Elements 11 ช่วยให้คุณออกแบบปฏิทินที่น่าสนใจของเด็ก ๆ ทีมฟุตบอลหญิง, สมาคม Bullhead Moose หรือกิจกรรมอื่น ๆ ที่คุณต้องการใช้ องค์ประกอบทำให้ง่ายต่อการสร้างปฏิทินที่ดูเป็นมืออาชีพ นี่เป็นอย่างไร ...

ตัวเลือกของบรรณาธิการ

การเพาะปลูกภาพภูมิทัศน์ของคุณใน Photoshop Elements - Dummies

การเพาะปลูกภาพภูมิทัศน์ของคุณใน Photoshop Elements - Dummies

คุณสามารถใช้ Photoshop Elements เพื่อครอบตัดภาพก่อนส่งออก พวกเขาสำหรับอีเมลโพสต์ไว้ในเว็บไซต์หรือการสร้างภาพพิมพ์ โดยระบุขนาดและความละเอียดของภาพ นอกจากนี้คุณยังสามารถครอบตัดภาพตามสัดส่วนหรือเฉพาะขนาด

ปรับแต่ง Gradients ใน Photoshop Elements - Dummies

ปรับแต่ง Gradients ใน Photoshop Elements - Dummies

หากไม่สามารถหาการไล่ระดับสีที่แน่นอนที่คุณต้องการคุณสามารถสร้างได้อย่างง่ายดาย ของคุณเอง ตัวแก้ไข Gradient ช่วยให้คุณสามารถสร้างการไล่ระดับสีแบบกำหนดเองของคุณโดยใช้สีได้มากเท่าที่คุณต้องการ หลังจากที่คุณสร้างการไล่ระดับสีแบบกำหนดเองแล้วคุณสามารถบันทึกเป็นค่าที่กำหนดล่วงหน้าเพื่อนำมาใช้ใหม่ในอนาคต

โหมด Lightning และ Darken Blender ใน Photoshop Elements 10 - Dummies

โหมด Lightning และ Darken Blender ใน Photoshop Elements 10 - Dummies

Photoshop Elements 10 มี Darken, Multiply , Color Burn, Linear Burn และ Darker Color ผสมผสานกับโหมดต่างๆที่ทำให้ภาพของคุณมืดลงในรูปแบบต่างๆและ Lighten Screen Screen Color Dodge โหมด Linear Dodge และ Light Light ผสมผสานเข้าไว้ด้วยกัน Darken: เปลี่ยนพิกเซลที่สว่างกว่าหากพิกเซลอยู่ที่ ...