วิธีการแปลงข้อมูลดิบเป็นเมทริกซ์การวิเคราะห์คาดการณ์ - มัมมี่>

ก่อนที่คุณจะสามารถแยกกลุ่มของรายการข้อมูลที่คล้ายคลึงกันออกจากชุดข้อมูลของคุณสำหรับโครงการวิเคราะห์คาดการณ์ของคุณคุณอาจต้องแสดงข้อมูลของคุณในแบบตาราง รูปแบบที่เรียกว่า data matrix นี่คือขั้นตอนการทำ preprocessing ที่มาก่อน data clustering

วิธีการสร้างเมตริกซ์การวิเคราะห์เชิงคาดการณ์ของข้อกำหนดในเอกสาร

สมมติว่าชุดข้อมูลที่คุณกำลังวิเคราะห์อยู่ในชุดเอกสาร Microsoft Word สิ่งแรกที่คุณต้องทำคือการแปลงชุดเอกสารลงในเมตริกซ์ข้อมูล เครื่องมือเชิงพาณิชย์และโอเพนซอร์สจำนวนมากสามารถจัดการงานดังกล่าวได้โดยการผลิตเมทริกซ์ซึ่งในแต่ละแถวจะตรงกับเอกสารในชุดข้อมูล ตัวอย่างเครื่องมือเหล่านี้ ได้แก่ RapidMiner และ R text-mining packages

เอกสาร เป็นสาระสำคัญชุดคำ คำศัพท์ คือชุดคำหนึ่งคำหรือหลายคำ

คำศัพท์ทุกคำที่มีการกล่าวถึงเอกสารจะมีอยู่หนึ่งครั้งหรือหลายครั้งในเอกสารเดียวกัน จำนวนครั้งที่มีการกล่าวถึงในเอกสารสามารถแสดงได้โดย ความถี่คำศัพท์ (TF) ซึ่งเป็นค่าตัวเลข

เราสร้างเมทริกซ์ของข้อกำหนดในเอกสารดังนี้:

• คำที่ปรากฏในเอกสารทั้งหมดจะแสดงอยู่ในแถวบนสุด

• ชื่อเอกสารแสดงอยู่ในคอลัมน์ซ้ายสุด

• ตัวเลขที่ปรากฏภายในเซลล์เมทริกซ์จะสัมพันธ์กับความถี่ของแต่ละเทอม

ตัวอย่างเช่นเอกสาร A จะแสดงเป็นชุดตัวเลข (5, 16, 0, 19, 0, 0) โดยที่ 5 หมายถึงจำนวนครั้งที่มีการทำซ้ำ การวิเคราะห์เชิงคาดการณ์ 16 สอดคล้องกับจำนวนครั้งที่ วิทยาศาสตร์คอมพิวเตอร์ ซ้ำและอื่น ๆ นี่คือวิธีที่ง่ายที่สุดในการแปลงชุดเอกสารลงในเมตริกซ์

การจัดกลุ่ม 2013 มานุษยวิทยา เอกสาร 5 16 0 < 19 0 0 เอกสาร B 8 6 2 3 0 0 เอกสาร C 0 < 5 2 3 3 9 เอกสาร D 1 9 13 4 6 7 เอกสาร E 2 16 16 0 2 13 เอกสาร F 13 0 19 16 > 1 2 พื้นฐานของการเลือกคำที่ใช้ในการวิเคราะห์เชิงพยากรณ์ ความท้าทายหนึ่งข้อในการจัดกลุ่มเอกสารข้อความคือการกำหนดวิธีเลือกเงื่อนไขที่ดีที่สุดเพื่อแสดงเอกสารทั้งหมดในคอลเล็กชัน ความสำคัญของคำในชุดเอกสารสามารถคำนวณได้หลายวิธี ตัวอย่างเช่นหากคุณนับจำนวนครั้งที่มีการทำซ้ำในเอกสารและเปรียบเทียบกับจำนวนครั้งที่มีการเรียกซ้ำในคอลเล็กชันทั้งหมดคุณจะเห็นความสำคัญของคำว่าเมื่อเทียบกับคำอื่น ๆ การพิจารณาความสำคัญของคำที่เกี่ยวกับความถี่ในการเก็บข้อมูลมักจะเรียกว่า น้ำหนัก น้ำหนักที่คุณกำหนดอาจอิงตามหลักการสองข้อ: คำศัพท์ที่ปรากฏขึ้นหลายครั้งในเอกสารเป็นที่ชื่นชอบมากกว่าคำที่ปรากฏเพียงครั้งเดียว

ข้อกำหนดที่ใช้ในเอกสารจำนวนไม่มากนักเป็นที่โปรดปรานมากกว่าข้อกำหนดที่ระบุไว้ในเอกสารทั้งหมด

ถ้าในเอกสารทั้งหมดในชุดข้อมูลของคุณมีการกล่าวถึงคำว่า

ศตวรรษ

คุณอาจไม่พิจารณากำหนดน้ำหนักให้มากพอที่จะมีคอลัมน์ของตัวเองในเมทริกซ์ ในทำนองเดียวกันถ้าคุณกำลังจัดการกับชุดข้อมูลของผู้ใช้เครือข่ายสังคมออนไลน์คุณสามารถแปลงชุดข้อมูลนั้นลงในเมทริกซ์ได้อย่างง่ายดาย ID ผู้ใช้หรือชื่อจะใช้แถว; คอลัมน์จะแสดงรายการคุณลักษณะที่อธิบายผู้ใช้เหล่านั้นได้ดีที่สุด