บ้าน การเงินส่วนบุคคล หลีกเลี่ยงการพังทลายและการรั่วไหลของดักในการเรียนรู้ด้วยเครื่องจักร - มัมมี่

หลีกเลี่ยงการพังทลายและการรั่วไหลของดักในการเรียนรู้ด้วยเครื่องจักร - มัมมี่

Anonim

วิธีการตรวจสอบเพื่อการเรียนรู้ด้วยเครื่องจักรคือการตรวจสอบวิธีแก้ไขที่เป็นไปได้ในการสุ่มตัวอย่างในการสุ่มตัวอย่าง ความลำเอียงในการสุ่มตัวอย่างอาจเกิดขึ้นกับข้อมูลของคุณก่อนที่การเรียนรู้ด้วยเครื่องจะถูกนำไปปฏิบัติและทำให้เกิดความแปรปรวนมากขึ้นของค่าประมาณต่อไปนี้ นอกจากนี้คุณควรตระหนักถึงกับดักรั่วซึ่งอาจเกิดขึ้นได้เมื่อข้อมูลบางส่วนจากตัวอย่างที่ไม่อยู่ในกลุ่มตัวอย่างส่งผ่านไปยังข้อมูลในตัวอย่าง ปัญหานี้อาจเกิดขึ้นเมื่อคุณเตรียมข้อมูลหรือหลังจากโมเดลการเรียนรู้ด้วยเครื่องของคุณพร้อมและทำงานแล้ว

การรักษาซึ่งเรียกว่า ensembling of predictors ทำงานได้ดีเมื่อตัวอย่างการฝึกอบรมของคุณไม่บิดเบี้ยวอย่างสมบูรณ์และการกระจายตัวของมันแตกต่างจากตัวอย่างที่ไม่ได้ตัวอย่างเช่น เช่นเดียวกับเมื่อทุกชั้นเรียนของคุณมีอยู่ แต่ไม่อยู่ในสัดส่วนที่เหมาะสม (เป็นตัวอย่าง) ในกรณีเช่นนี้ผลการค้นหาของคุณจะได้รับผลกระทบจากความแปรปรวนบางส่วนของค่าประมาณที่คุณสามารถปรับได้โดยใช้วิธีการสุ่มตัวอย่างเช่นในการบูต; โดยการสุ่มตัวอย่าง (การสุ่มตัวอย่างตัวอย่าง); หรือโดยใช้ตัวอย่างขนาดเล็ก (ซึ่งเพิ่มความลำเอียง)

เพื่อให้เข้าใจว่า ensembling ทำงานได้ดีเพียงใดให้จินตนาการภาพลักษณ์ของตาวัว ถ้าตัวอย่างของคุณมีผลต่อการคาดคะเนการคาดการณ์บางอย่างจะเป็นที่แน่นอนและบางอย่างจะผิดพลาดแบบสุ่ม หากคุณเปลี่ยนตัวอย่างการคาดการณ์ที่ถูกต้องจะเป็นไปในทิศทางที่ถูกต้อง แต่คนที่ไม่ถูกต้องจะเริ่มมีการเปลี่ยนแปลงระหว่างค่าต่างๆกัน ค่าบางอย่างจะเป็นคำทำนายที่แน่นอนที่คุณต้องการ คนอื่น ๆ ก็จะแกว่งไปมาทางขวา

ในกรณีส่วนใหญ่วิธีการดังกล่าวพิสูจน์ให้ถูกต้องและปรับปรุงการคาดการณ์การเรียนรู้ของเครื่องเป็นจำนวนมาก เมื่อปัญหาของคุณมีอคติและไม่แปรปรวนใช้ ensembling จริงๆไม่ก่อให้เกิดอันตรายเว้นแต่คุณ subsample ตัวอย่างน้อยเกินไป หลักเกณฑ์ที่ดีสำหรับการเก็บข้อมูลย่อยคือการสุ่มตัวอย่างจาก 70 ถึง 90 เปอร์เซ็นต์เมื่อเทียบกับข้อมูลตัวอย่างในต้นฉบับ ถ้าคุณต้องการทำงานร่วมกันคุณควรดำเนินการต่อไปนี้:

ทำซ้ำหลาย ๆ ครั้งผ่านข้อมูลและแบบจำลองของคุณ (ตั้งแต่ขั้นต่ำสุดถึง 3 ซ้ำไปจนถึงหลายร้อยครั้ง)

  • ทุกครั้งที่คุณทำซ้ำให้ subsample (หรือ else bootstrap) ข้อมูลตัวอย่างของคุณ
  • ใช้การเรียนรู้ของเครื่องสำหรับโมเดลในข้อมูลที่มีการสุ่มและทำนายผลลัพธ์ที่ไม่เป็นไปตามแบบตัวอย่าง จัดเก็บผลลัพธ์เหล่านี้ไว้เพื่อใช้ในภายหลัง
  • ในตอนท้ายของการทำซ้ำสำหรับกรณีตัวอย่างทุกตัวอย่างที่คุณต้องการคาดการณ์ให้ใช้การคาดการณ์ทั้งหมดและคำนวณค่าเฉลี่ยเหล่านี้หากคุณกำลังถดถอย เรียนบ่อยที่สุดหากคุณกำลังจัดประเภท
  • กับดักการรั่วไหลอาจทำให้คุณประหลาดใจเพราะสามารถพิสูจน์ได้ว่าเป็นแหล่งที่มาของปัญหาที่ไม่รู้จักและไม่สามารถตรวจพบได้จากกระบวนการเรียนรู้ด้วยเครื่องของคุณ ปัญหาคือการสอดแนมหรือการสังเกตข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างมากเกินไปและปรับตัวให้เข้ากับบ่อยเกินไป ในระยะสั้นการสอดแนมเป็นสิ่งที่เหมาะสมยิ่งกว่า - ไม่ใช่เฉพาะข้อมูลการฝึกอบรมเท่านั้น แต่ยังรวมถึงข้อมูลการทดสอบทำให้ปัญหาที่พบบ่อยขึ้นยากขึ้นเรื่อย ๆ จนกว่าคุณจะได้รับข้อมูลใหม่

โดยปกติคุณตระหนักว่าปัญหากำลังสอดแนมเมื่อคุณใช้อัลกอริทึมการเรียนรู้เครื่องกับธุรกิจของคุณหรือไปใช้บริการสาธารณะแล้วทำให้ปัญหาเป็นปัญหาที่ทุกคนสามารถเห็นได้

คุณสามารถหลีกเลี่ยงการสอดแนมได้สองวิธี ขั้นแรกเมื่อใช้ข้อมูลให้ระมัดระวังในการแยกการฝึกอบรมการตรวจสอบและข้อมูลการทดสอบอย่างละเอียด นอกจากนี้เมื่อประมวลผลแล้วอย่าใช้ข้อมูลใด ๆ จากการตรวจสอบหรือทดสอบแม้แต่ตัวอย่างที่เรียบง่ายและดูไร้เดียงสา ที่เลวร้ายยิ่งก็คือการใช้การเปลี่ยนแปลงที่ซับซ้อนโดยใช้ข้อมูลทั้งหมด

ตัวอย่างเช่นในด้านการเงินเป็นที่ทราบกันดีว่าการคำนวณค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐาน (ซึ่งสามารถบอกคุณได้มากเกี่ยวกับสภาวะตลาดและความเสี่ยง) จากข้อมูลการฝึกอบรมและข้อมูลการทดสอบทั้งหมดสามารถรั่วไหลข้อมูลที่มีค่าเกี่ยวกับแบบจำลองของคุณได้ เมื่อมีการรั่วไหลกลไกการเรียนรู้ของเครื่องจะทำการคาดการณ์ในชุดทดสอบแทนที่จะเป็นข้อมูลตัวอย่างจากตลาดซึ่งหมายความว่าไม่ได้ใช้งานเลยทำให้เกิดการสูญเสียเงิน

ตรวจสอบประสิทธิภาพของตัวอย่างที่ไม่อยู่ในตัวอย่าง ในความเป็นจริงคุณอาจนำข้อมูลบางส่วนมาใช้จากการสอดแนมผลการทดสอบเพื่อช่วยในการระบุว่าพารามิเตอร์บางอย่างดีกว่าตัวอื่นหรือทำให้คุณเลือกอัลกอริธึมการเรียนรู้ด้วยเครื่องจักรเพียงอันเดียวแทนวิธีอื่น สำหรับทุกรุ่นหรือพารามิเตอร์ให้ใช้ตัวเลือกของคุณตามผลการตรวจสอบข้ามหรือจากตัวอย่างการตรวจสอบ อย่าพลาดการรับของทานเล่นจากข้อมูลที่ไม่อยู่ในกลุ่มตัวอย่างของคุณหรือคุณจะเสียใจในภายหลัง

หลีกเลี่ยงการพังทลายและการรั่วไหลของดักในการเรียนรู้ด้วยเครื่องจักร - มัมมี่

ตัวเลือกของบรรณาธิการ

รูปสัตว์ใกล้เคียงและแมลง - หุ่น

รูปสัตว์ใกล้เคียงและแมลง - หุ่น

การถ่ายภาพสิ่งมีชีวิตขนาดเล็กปิด, คุณสามารถสร้างภาพที่เปิดเผยรายละเอียดที่ละเอียดซึ่งมักมองข้ามหรือมองไม่เห็นด้วยตาเปล่า รายละเอียดประเภทนี้จะช่วยให้ผู้ชมเข้าใจและดึงดูดความสนใจของพวกเขาขณะที่พวกเขาสังเกตเห็นสิ่งที่พวกเขาไม่ได้สังเกตมาก่อน สิ่งมีชีวิตขนาดเล็กและแมลงนอกจากนี้ยังมี ...

Close-up การถ่ายภาพธรรมชาติที่ Dawn - Dummies

Close-up การถ่ายภาพธรรมชาติที่ Dawn - Dummies

องค์ประกอบบางอย่างที่มีอยู่เฉพาะในตอนเช้าช่วยให้ยืมความรู้สึก เล่าเรื่องไปสู่รูปธรรมชาติที่ใกล้ชิดซึ่งทำให้ผู้ดูอ่านได้ หนึ่งในของขวัญหลักที่ถ่ายภาพในตอนเช้าคือแสง แต่องค์ประกอบอื่น ๆ อีกมากมายเพิ่มเรื่องราวของคุณ: Dew เป็นหนึ่งใน ...

เมฆมากความสว่างและสมดุลสีขาว - มัด

เมฆมากความสว่างและสมดุลสีขาว - มัด

แสงที่กระจายผ่านปกคลุมด้วยเมฆปกคลุมการฉายสีฟ้าในรูปถ่ายเช่นเดียวกับที่เปิดกว้าง แสงเงาไม่ อย่างไรก็ตามการเปลี่ยนสีน้ำเงินในแสงที่มีเมฆมากไม่เป็นที่แพร่หลายมากที่สุดเท่าที่อยู่ในที่โล่ง เช่นเดียวกับการเปลี่ยนแปลงคุณภาพและความเข้มเช่นเดียวกับสีของแสงธรรมชาติประเภทนี้ ยิ่งกว่านั้น ...

ตัวเลือกของบรรณาธิการ

การใช้ Dubsmash - Dummies

การใช้ Dubsmash - Dummies

Dubsmash เป็นแอปพลิเคชันมือถือที่ช่วยให้คุณถ่ายคลิปวิดีโอขนาดเล็กที่คุณสามารถแนบไปได้ กัดเสียงตลก แอปพลิเคชันนี้ออกแบบมาเพื่อให้คุณสามารถซิงค์ปากกับกล้องไปยังเสียงที่ให้มาได้ แต่จินตนาการของคุณเป็นขีด จำกัด หลังจากที่คุณสร้างวิดีโอ Dubsmash คุณสามารถบันทึกและแบ่งปัน ...

วิธีการใช้เจลสีและตัวกรองในการสร้างภาพยนตร์ดิจิทัล - มัมมี่

วิธีการใช้เจลสีและตัวกรองในการสร้างภาพยนตร์ดิจิทัล - มัมมี่

คุณสามารถใช้เจลสีและ ตัวกรองเพื่อให้บรรลุผลบางอย่างในภาพยนตร์ดิจิตอลของคุณ มีสีที่แตกต่างกันของแสงซึ่งเป็นวัดในเคลวิน นี่เป็นตัวกำหนดความหนาวเย็นหรือความอบอุ่นของสีของแสง แสงกลางวันอยู่ตรงกลางของเครื่องชั่ง ถ้าภาพของคุณเย็นหรือมีสีน้ำเงินมากเกินไป ...

วิธีการใช้หลอดไส้ในภาพยนตร์ดิจิตอลของคุณ - มัมมี่

วิธีการใช้หลอดไส้ในภาพยนตร์ดิจิตอลของคุณ - มัมมี่

แสงแดดเป็นรูปแบบสุดยอดของแสงสำหรับ การสร้างภาพยนตร์ DSLR นอกจากนี้ยังเป็นแหล่งกำเนิดแสงจากหลอดไส้ที่ดีที่สุดหรือแหล่งกำเนิดแสงที่ให้ความร้อน แม้ว่าอุณหภูมิสีที่แท้จริงจะแตกต่างกันไปขึ้นอยู่กับตำแหน่งและสภาพบรรยากาศ แต่ก็ยังคงมีสีสันอยู่อย่างเต็มรูปแบบ ซึ่งหมายความว่าคุณสามารถปรับความสมดุลของสีได้ที่

ตัวเลือกของบรรณาธิการ

ปรับ Brightness และ Contrast ด้วย Smart Brush Tool ใน Photoshop Elements - Dummies

ปรับ Brightness และ Contrast ด้วย Smart Brush Tool ใน Photoshop Elements - Dummies

Smart เครื่องมือแปรงใน Photoshop Elements ช่วยให้คุณสามารถเลือกใช้การปรับภาพหรือเทคนิคพิเศษที่ปรากฏบนภาพทั้งหมดหรือบางส่วน

ปรับอุณหภูมิสีด้วย Photo Filters ใน Photoshop Elements 10 - Dummies

ปรับอุณหภูมิสีด้วย Photo Filters ใน Photoshop Elements 10 - Dummies

องค์ประกอบจะให้รูปดิจิตอล ของตัวกรองสีสมัยเก่าด้วยคำสั่ง Photo Filter แสงมีอุณหภูมิสีเอง ภาพที่ถ่ายด้วยอุณหภูมิสีสูงกว่าจะทำให้ภาพมีสีฟ้า ตรงกันข้ามภาพที่ถ่ายด้วยอุณหภูมิสีที่ต่ำกว่าจะทำให้ภาพมีสีเหลือง ในสมัยก่อนช่างภาพใช้

ปรับค่า Contrast และ Color ด้วย Photoshop Elements Levels Adjustment - Dummies

ปรับค่า Contrast และ Color ด้วย Photoshop Elements Levels Adjustment - Dummies

การปรับระดับใน Photoshop Elements 11 คือ หนึ่งในคำสั่งที่มีประสิทธิภาพที่สุดในการแก้ไขความคมชัดของภาพ คุณมักใช้ระดับบนเลเยอร์การปรับ การสร้างเลเยอร์การปรับแต่งและการใช้การตั้งค่าจากกล่องโต้ตอบระดับอาจทำให้เกิดความสับสนเล็กน้อย แผงควบคุมแนะนำโชคดีที่แบ่งขั้นตอนที่ซับซ้อนออกเป็น