การวิเคราะห์และเทคนิคการสกัดข้อมูลขนาดใหญ่ - หุ่น

โดยทั่วไปแล้วโซลูชันการวิเคราะห์ข้อความสำหรับข้อมูลขนาดใหญ่ใช้เทคนิคการประมวลผลทางสถิติและการประมวลผลภาษาธรรมชาติ (NLP) เพื่อดึงข้อมูลจากข้อมูลที่ไม่มีโครงสร้าง NLP เป็นสาขาที่กว้างและซับซ้อนซึ่งพัฒนาขึ้นในช่วง 20 ปีที่ผ่านมา

เป้าหมายหลักของ NLP คือการได้มาซึ่งความหมายจากข้อความ การประมวลผลภาษาธรรมชาติมักใช้ประโยชน์จากแนวคิดด้านภาษาศาสตร์เช่นโครงสร้างทางไวยากรณ์และบางส่วนของคำพูด บ่อยครั้งที่แนวคิดเบื้องหลังการวิเคราะห์ประเภทนี้คือการกำหนดว่าใครทำอะไรกับใครเมื่อไหร่อย่างไรและทำไม

NLP จะทำการวิเคราะห์ข้อความในระดับต่างๆ:

• การวิเคราะห์คำศัพท์ / คำศัพท์ทางภาษาศาสตร์ ตรวจสอบลักษณะของคำแต่ละคำรวมทั้งคำนำหน้าคำต่อท้ายรากและส่วนของคำพูด (คำนาม, คำกริยาคำคุณศัพท์และอื่น ๆ) - ข้อมูลที่จะนำไปสู่ความเข้าใจในสิ่งที่คำว่าหมายถึงบริบทของข้อความที่มีให้ การวิเคราะห์คำศัพท์ขึ้นอยู่กับพจนานุกรมพจนานุกรมหรือรายการคำศัพท์ที่ให้ข้อมูลเกี่ยวกับคำเหล่านั้น

• การวิเคราะห์ทางไวยากรณ์ ใช้โครงสร้างทางไวยากรณ์ในการตัดข้อความและใส่คำแต่ละคำลงในบริบท ที่นี่คุณกำลังขยับขยายของคุณจากคำเดียวเป็นวลีหรือประโยคเต็ม ขั้นตอนนี้อาจอธิบายถึงความสัมพันธ์ระหว่างคำ (ไวยากรณ์) หรือค้นหาลำดับของคำที่สร้างประโยคที่ถูกต้องหรือลำดับของตัวเลขที่เป็นตัวแทนของวันที่หรือค่าทางการเงิน

• การวิเคราะห์ความหมาย จะพิจารณาความหมายที่เป็นไปได้ของประโยค ซึ่งอาจรวมถึงการตรวจสอบลำดับคำและโครงสร้างประโยคและคำที่คลางแคลงด้วยการเกี่ยวกับไวยากรณ์ที่พบในวลีประโยคและย่อหน้า

• การวิเคราะห์ระดับวาทกรรม การพยายามกำหนดความหมายของข้อความเกินระดับประโยค

เข้าใจข้อมูลที่ดึงออกมาจากข้อมูลขนาดใหญ่

เทคนิคบางอย่างรวมกับเทคนิคทางสถิติหรือภาษาศาสตร์อื่น ๆ เพื่อทำให้การติดแท็กและการทำมาร์กอัปเอกสารเอกสารสามารถดึงข้อมูลต่อไปนี้ได้:

• ข้อกำหนด: อีก ชื่อคำหลัก

• เอนทิตี: มักเรียกว่าเอนทิตี , เป็นตัวอย่างเฉพาะของ abstractions ตัวอย่างคือชื่อบุคคลชื่อ บริษัท สถานที่ตั้งทางภูมิศาสตร์ข้อมูลการติดต่อวันที่เวลาสกุลเงินชื่อตำแหน่งและอื่น ๆ ตัวอย่างเช่นซอฟต์แวร์วิเคราะห์ข้อความสามารถดึงนิติบุคคล Jane Doe เป็นบุคคลที่อ้างถึงในข้อความที่ได้รับการวิเคราะห์ เอนทิตี 3 มีนาคม 2550 สามารถแยกออกเป็นวันที่เป็นต้น

• ข้อเท็จจริง: เรียกอีกอย่างว่า ความสัมพันธ์ ข้อเท็จจริงระบุว่าใคร / อะไร / ที่ความสัมพันธ์ระหว่างสองหน่วยงาน John Smith เป็น CEO ของ บริษัท Y และ แอสไพรินช่วยลดไข้ เป็นตัวอย่างของข้อเท็จจริง

• เหตุการณ์: ในขณะที่ผู้เชี่ยวชาญบางคนใช้ความสัมพันธ์ ความเป็นจริง และ เหตุการณ์ แทนกันคนอื่นจะแยกแยะระหว่างเหตุการณ์และข้อเท็จจริง, ระบุว่าเหตุการณ์มักมีมิติเวลาและมักทำให้ข้อเท็จจริงเปลี่ยนไป ตัวอย่างเช่นการเปลี่ยนแปลงการบริหารภายใน บริษัท หรือสถานะของกระบวนการขาย

• แนวคิด: นี่เป็นชุดของคำและวลีที่ระบุถึงแนวคิดหรือหัวข้อที่ผู้ใช้ต้องการ ตัวอย่างเช่นแนวคิด ลูกค้าที่ไม่มีความสุข อาจมีคำว่า โกรธ, ผิดหวัง, และ สับสน และ ยกเลิกการเชื่อมต่อบริการไม่ได้เรียกกลับ, และ การสูญเสียเงิน - ท่ามกลางคนอื่น ดังนั้นแนวคิด ลูกค้าที่ไม่มีความสุข สามารถสกัดได้โดยไม่ต้องมีคำ ไม่พอใจ หรือ ลูกค้า ปรากฏอยู่ในข้อความ

• ความรู้สึก: การวิเคราะห์ความเชื่อมั่นถูกใช้เพื่อระบุมุมมองหรืออารมณ์ในข้อความต้นแบบ เทคนิคบางอย่างทำเช่นนี้โดยการจัดกลุ่มข้อความเป็นตัวอย่างเช่นอัตนัย (ความคิดเห็น) หรือวัตถุประสงค์ (ความเป็นจริง) โดยใช้เทคนิคการเรียนรู้ด้วยเครื่องจักรหรือ NLP การวิเคราะห์ความคิดเห็นได้รับความนิยมอย่างมากในประเภทการใช้งาน "เสียงพูดของลูกค้า"

การจัดประเภทข้อมูลขนาดใหญ่

การจัดประเภทข้อมูลมักมีความสำคัญต่อการวิเคราะห์ข้อความ taxonomy เป็นวิธีการจัดระเบียบข้อมูลในความสัมพันธ์เชิงลำดับชั้น บางครั้งเรียกว่าวิธีการจัดหมวดหมู่ เนื่องจากอนุกรมวิธานกำหนดความสัมพันธ์ระหว่างคำที่ บริษัท ใช้ทำให้ง่ายต่อการค้นหาและวิเคราะห์ข้อความ

ตัวอย่างเช่นผู้ให้บริการโทรคมนาคมมีบริการแบบมีสายและแบบไร้สาย ในบริการไร้สาย บริษัท อาจสนับสนุนโทรศัพท์มือถือและการเข้าถึงอินเทอร์เน็ต จากนั้น บริษัท อาจมีวิธีจัดแบ่งประเภทบริการโทรศัพท์เคลื่อนที่สองประเภทขึ้นไปเช่นแผนบริการและประเภทโทรศัพท์ อนุกรมวิธานสามารถเข้าถึงไปยังส่วนต่างๆของโทรศัพท์ได้ทั้งหมด

Taxonomies สามารถใช้คำพ้องความหมายและสำนวนอื่นได้โดยตระหนักว่ามือถือโทรศัพท์มือถือและโทรศัพท์มือถือมีความเหมือนกันทั้งหมด การทำ taxonomies เหล่านี้อาจค่อนข้างซับซ้อนและอาจใช้เวลานานในการพัฒนา