ด้วยอัลกอริทึมการจัดหมวดหมู่คุณใช้ชุดข้อมูลที่มีอยู่และ ใช้สิ่งที่คุณรู้เกี่ยวกับเรื่องนี้เพื่อสร้างรูปแบบการคาดการณ์เพื่อใช้ในการจัดหมวดหมู่จุดข้อมูลในอนาคต หากเป้าหมายของคุณคือการใช้ชุดข้อมูลและชุดย่อยที่เป็นที่รู้จักเพื่อสร้างโมเดลสำหรับทำนายการจัดหมวดหมู่จุดข้อมูลในอนาคตคุณจะต้องใช้อัลกอริทึมการจัดหมวดหมู่
เมื่อใช้การจัดหมวดหมู่แบบมีการกำกับดูแลคุณควรรู้ข้อมูลย่อยของข้อมูลแล้ว - ส่วนย่อยเหล่านี้เรียกว่า categories การจำแนกประเภทช่วยให้คุณเห็นว่าข้อมูลของคุณตรงกับหมวดหมู่ที่กำหนดไว้ล่วงหน้าของชุดข้อมูลอย่างไรเพื่อที่คุณจะสามารถสร้างแบบจำลองการคาดการณ์สำหรับใช้ในการจำแนกข้อมูลในอนาคตได้
รูปดังกล่าวแสดงให้เห็นว่ารูปแบบการจัดเก็บข้อมูลรายได้และการศึกษาของธนาคารโลกจัดเป็นอย่างไรตามหมวดหมู่ทวีป
คุณสามารถเห็นได้ว่าในบางกรณีส่วนย่อยที่คุณระบุโดยใช้เทคนิคการจัดกลุ่มจะสอดคล้องกับหมวดหมู่ทวีป แต่ในกรณีอื่น ๆ พวกเขาไม่ทำ ตัวอย่างเช่นมองไปที่ประเทศในเอเชียแห่งหนึ่งในตอนกลางของจุดข้อมูลแอฟริกัน นั่นคือภูฏาน คุณสามารถใช้ข้อมูลในชุดข้อมูลนี้เพื่อสร้างแบบจำลองที่จะคาดการณ์หมวดหมู่ทวีปสำหรับจุดข้อมูลที่เข้ามา
แต่ถ้าคุณแนะนำจุดข้อมูลสำหรับประเทศใหม่ที่มีสถิติคล้ายคลึงกับภูฏานแล้วประเทศใหม่นี้อาจถูกจัดอยู่ในกลุ่มทวีปเอเชียหรือทวีปแอฟริกา เกี่ยวกับวิธีกำหนดรูปแบบของคุณ
ลองจินตนาการถึงสถานการณ์ที่ข้อมูลต้นฉบับของคุณไม่ได้รวมถึงภูฏานและคุณใช้แบบจำลองนี้เพื่อคาดการณ์ทวีปของภูฏานว่าเป็นจุดข้อมูลใหม่ ในสถานการณ์สมมตินี้แบบจำลองจะผิดพลาดคาดการณ์ว่าภูฏานเป็นส่วนหนึ่งของทวีปแอฟริกา
overfitting โมเดล - สถานการณ์ที่โมเดลนั้นแน่นพอดีกับชุดข้อมูลพื้นฐานเช่นเดียวกับเสียงรบกวนหรือความผิดพลาดแบบสุ่มที่มีอยู่ในชุดข้อมูลนั้น ๆ, ว่าโมเดลนั้นมีประสิทธิภาพต่ำสำหรับทำนายจุดข้อมูลใหม่ ๆ เพื่อไม่ให้โมเดลของคุณอ่อนเกินไปให้แบ่งข้อมูลของคุณลงในชุดฝึกอบรมและชุดทดสอบ อัตราส่วนทั่วไปคือการกำหนด 80 เปอร์เซ็นต์ของข้อมูลลงในชุดการฝึกอบรมและอีก 20 เปอร์เซ็นต์ที่เหลืออยู่ในชุดทดสอบ สร้างแบบจำลองของคุณด้วยชุดการฝึกอบรมจากนั้นใช้ชุดทดสอบเพื่อประเมินโมเดลโดยแกล้งทำเป็นว่าข้อมูลจุดทดสอบที่ตั้งไว้ไม่เป็นที่รู้จัก คุณสามารถประเมินความถูกต้องของแบบจำลองของคุณได้โดยการเปรียบเทียบหมวดที่กำหนดให้กับจุดข้อมูลชุดทดสอบเหล่านี้โดยใช้แบบจำลองไปยังประเภทที่แท้จริงการสร้าง overgeneralization ในรูปแบบอาจเป็นปัญหาได้
overgeneralization เป็นสิ่งที่ตรงกันข้ามกับ overfitting: เกิดขึ้นเมื่อนักวิทยาศาสตร์ข้อมูลพยายามหลีกเลี่ยง - การจัดประเภทเนื่องจากการใช้ค่าสัมผัสโดยการทำให้รูปแบบเป็นแบบทั่วไป โมเดลที่กว้างเกินไปจะกำหนดให้ทุกหมวดหมู่มีระดับความเชื่อมั่นต่ำ เพื่อแสดงให้เห็นถึงการมีส่วนร่วมแบบจำลองให้พิจารณาอีกครั้งจากชุดข้อมูลรายได้และข้อมูลการศึกษาของธนาคารโลก ถ้าแบบจำลองใช้การปรากฏตัวของภูฏานเพื่อให้ข้อสงสัยเกี่ยวกับจุดข้อมูลใหม่ทุกจุดในบริเวณใกล้เคียงของพื้นที่นั้นคุณจะจบลงด้วยรูปแบบที่ดูสกปรกซึ่งถือว่าจุดใกล้เคียงทั้งหมดเป็นภาษาแอฟริกัน แต่มีโอกาสน้อย แบบจำลองนี้จะเป็นนักแสดงที่คาดการณ์ไม่ดี
คำอุปมาที่ดีสำหรับการ overfitting และ overgeneralization สามารถแสดงผ่านวลีที่รู้จักกันดี "ถ้ามันเดินเหมือนเป็ดและพูดเช่นเป็ดแล้วก็เป็ด. "overfitting จะเปลี่ยนวลีนี้เป็น" เป็นเป็ดถ้าและเฉพาะในกรณีที่มันเดินและ quacks ว่าในวิธีการที่ฉันได้สังเกตเห็นเป็ดที่จะเดินและ quack. ตั้งแต่ที่ฉันไม่เคยสังเกตเห็นทางเดินเป็ดที่พบในออสเตรเลียและการกระวนกระวายใจว่าเป็ดที่เห็นในออสเตรเลียต้องไม่ค่อยเป็นเป็ดเลย
ตรงกันข้ามการเกิด overgeneralization จะพูดว่า "ถ้ามันเคลื่อนไปมาบนขาทั้งสองข้างและปล่อยเสียงแหลมสูง ๆ เสียงเป็ดก็เป็นได้ ดังนั้น Fran Fine, ตัวละคร Fran Drescher ในภาพยนตร์แอ็คชั่นอเมริกันยุค 90 เรื่อง The Nanny
ต้องเป็นเป็ด " การเรียนรู้เครื่องที่ได้รับการดูแล - คำจำกัดความสำหรับการจำแนกประเภท - เหมาะสมกับสถานการณ์ที่มีลักษณะต่อไปนี้:
คุณรู้จักและเข้าใจชุดข้อมูลที่คุณกำลังวิเคราะห์ ส่วนย่อย (ประเภท) ของชุดข้อมูลของคุณมีการกำหนดล่วงหน้าและไม่ได้กำหนดโดยข้อมูล
-
คุณต้องการสร้างโมเดลที่สัมพันธ์ข้อมูลภายในหมวดหมู่ที่กำหนดไว้ล่วงหน้าเพื่อให้โมเดลสามารถช่วยคาดการณ์การจัดหมวดหมู่จุดข้อมูลในอนาคตได้
-
เมื่อทำการจัดหมวดหมู่โปรดระลึกถึงประเด็นต่อไปนี้:
-
การคาดการณ์ของรูปแบบจะดีเท่ากับข้อมูลพื้นฐานของโมเดลเท่านั้น
ในตัวอย่างข้อมูลของธนาคารโลกอาจเกิดขึ้นได้หากปัจจัยอื่น ๆ เช่นอายุขัยหรือการใช้พลังงานต่อหัวประชากรเพิ่มลงในแบบจำลองความสามารถในการคาดการณ์อาจเพิ่มขึ้น
-
การคาดการณ์ของรูปแบบจะดีเท่ากับการจัดหมวดหมู่ของชุดข้อมูลพื้นฐาน ตัวอย่างเช่นคุณจะทำอย่างไรกับประเทศต่างๆเช่นรัสเซียที่มีสองทวีป? คุณแยกแยะแอฟริกาเหนือออกจากทะเลทรายซาฮาราหรือไม่? คุณปั้นอเมริกาเหนือกับยุโรปเพราะพวกเขามีแนวโน้มที่จะมีส่วนร่วมในลักษณะเดียวกันหรือไม่? คุณคิดว่าอเมริกากลางเป็นส่วนหนึ่งของทวีปอเมริกาเหนือหรืออเมริกาใต้หรือไม่?
-
มีความเสี่ยงที่จะเกิดการ overfitting และ overgeneralization ต้องมีสื่อที่มีความสุขระหว่างสองคนนี้
