การขูดการเก็บรวบรวมและการจัดการเครื่องมือวิทยาศาสตร์ข้อมูล - Dummies

ไม่ว่าคุณจะต้องการข้อมูลเพื่อสนับสนุนการวิเคราะห์ทางธุรกิจหรือบทความด้านการสื่อสารมวลชนที่กำลังจะเกิดขึ้นการขูดเว็บสามารถช่วยคุณติดตามแหล่งข้อมูลที่น่าสนใจและไม่ซ้ำใครได้ ใน การขูดเว็บ คุณตั้งค่าโปรแกรมอัตโนมัติแล้วให้พวกเขาสำรวจเว็บเพื่อดูข้อมูลที่คุณต้องการ นี่คือเครื่องมือฟรีที่ใช้ในการขูดข้อมูลหรือภาพรวมทั้งการนำเข้า io, ImageQuilts และ DataWrangler

การขูดข้อมูลด้วยการนำเข้า io

คุณเคยพยายามที่จะคัดลอกและวางตารางจากเว็บลงในเอกสาร Microsoft Office แล้วไม่สามารถรับคอลัมน์เพื่อจัดเรียงอย่างถูกต้องได้หรือไม่? ผิดหวังใช่มั้ย? นี่คือจุดเจ็บปวดที่นำเข้า io ถูกออกแบบมาเพื่อตอบสนองความต้องการ

นำเข้า "นำเข้า eye-oh" - เป็นแอปพลิเคชันเดสก์ท็อปฟรีที่คุณสามารถใช้เพื่อคัดลอกวางทำความสะอาดและจัดรูปแบบส่วนหนึ่งส่วนใดของหน้าเว็บโดยใช้เมาส์เพียงไม่กี่ครั้ง คุณยังสามารถใช้การนำเข้า io จะรวบรวมข้อมูลและดึงข้อมูลจากรายการหลายหน้าโดยอัตโนมัติ

การใช้การนำเข้า io คุณสามารถขูดข้อมูลจากชุดของหน้าเว็บที่เรียบง่ายหรือซับซ้อนได้:

• ง่าย: เข้าถึงหน้าเว็บผ่านการเชื่อมโยงหลายมิติแบบง่ายๆที่ปรากฏในหน้า 1 หน้า 2 หน้า 3

• ซับซ้อน: > กรอกแบบฟอร์มหรือเลือกจากรายการแบบเลื่อนลงจากนั้นส่งคำขอขูดของคุณไปยังเครื่องมือ นำเข้า คุณลักษณะที่น่าประทับใจที่สุดของ io คือความสามารถในการสังเกตการคลิกเมาส์ของคุณเพื่อเรียนรู้สิ่งที่คุณต้องการแล้วเสนอวิธีที่จะทำให้งานของคุณเสร็จสมบูรณ์โดยอัตโนมัติสำหรับคุณ แม้ว่าการนำเข้า io เรียนรู้และแนะนำงานไม่ดำเนินการกับงานเหล่านั้นจนกว่าคุณจะทำเครื่องหมายคำแนะนำว่าถูกต้อง ดังนั้นการปฏิสัมพันธ์ที่เพิ่มขึ้นของมนุษย์เหล่านี้ลดความเสี่ยงที่เครื่องจะวาดข้อสรุปที่ไม่ถูกต้องเนื่องจากมีการคาดเดามากเกินไป

งานที่ ImageQuilts ดำเนินการได้ง่าย แต่ไม่ซับซ้อนมากที่จะใช้งานได้ ImageQuilts จะจับภาพหลายสิบภาพและจับภาพเหล่านี้เข้าด้วยกันเป็นผ้าห่ม "ผ้าห่ม" อันหนึ่งซึ่งประกอบไปด้วยหลายแถวที่มีความสูงเท่ากัน งานนี้อาจซับซ้อนเพราะภาพต้นทางเกือบจะไม่มีความสูงเท่ากัน ImageQuilts scrapes และปรับขนาดภาพก่อนที่จะเย็บภาพเข้าด้วยกันเป็นภาพเดียว

ผ้าห่มที่แสดงเป็นภาพที่มาจาก "ป้ายกำกับสำหรับการนำมาใช้ใหม่" การค้นหารูปภาพของ Google

ข้อมูล

วิทยาศาสตร์

ImageQuilts ยังช่วยให้คุณสามารถเลือกลำดับภาพหรือสุ่ม คุณสามารถใช้เครื่องมือนี้เพื่อลากและวางรูปภาพใด ๆ ไปยังที่ใดก็ได้ลบภาพซูมภาพทั้งหมดในเวลาเดียวกันหรือซูมภาพแต่ละภาพทีละภาพ คุณยังสามารถใช้เครื่องมือนี้เพื่อซ่อนความแตกต่างระหว่างสีของภาพได้ตั้งแต่สีไปจนถึงสีเทาหรือสีกลับ (ซึ่งเป็นประโยชน์สำหรับการทำแผ่นติดต่อทางลบหากคุณเป็นหนึ่งในคนที่หายากที่ยังคงประมวลผลภาพอะนาล็อก) ข้อมูลการโต้เถียงด้วย DataWrangler

DataWrangler เป็นเครื่องมือออนไลน์ที่ได้รับการสนับสนุนโดย University of Washington Interactive Data Lab (ปัจจุบัน DataWrangler ได้รับการพัฒนาขึ้นกลุ่มนี้เรียกว่า Stanford Visualization Group) กลุ่มเดียวกันนี้พัฒนา Lyra ซึ่งเป็นสภาพแวดล้อมการแสดงข้อมูลเชิงโต้ตอบที่คุณสามารถใช้เพื่อสร้างภาพประกอบที่ซับซ้อนโดยไม่ต้องใช้การเขียนโปรแกรม

หากเป้าหมายของคุณคือ

ปั้น

ชุดข้อมูลของคุณหรือล้างสิ่งต่างๆด้วยการเคลื่อนย้ายสิ่งต่างๆรอบ ๆ เช่นประติมากร (แบ่งส่วนนี้ออกเป็นสองชิ้นให้หลุดออกและย้ายไปที่นั่น เพื่อให้ทุกอย่างด้านล่างได้รับการเลื่อนไปทางขวาและอื่น ๆ) - DataWrangler เป็นเครื่องมือสำหรับคุณ

คุณสามารถทำ manipulations กับ DataWrangler ได้เหมือนกับที่คุณสามารถทำได้ใน Excel โดยใช้ Visual Basic ตัวอย่างเช่นคุณสามารถใช้ DataWrangler หรือ Excel กับ Visual Basic เพื่อคัดลอกวางและจัดรูปแบบข้อมูลจากรายการบนอินเทอร์เน็ต DataWrangler ยังแนะนำการทำงานตามชุดข้อมูลของคุณและสามารถทำซ้ำการทำงานที่ซับซ้อนในชุดข้อมูลทั้งหมดได้เช่นการขจัดแถวที่ข้ามไปการแบ่งข้อมูลออกจากคอลัมน์หนึ่งเป็นสองหรือการเปลี่ยนส่วนหัวลงในข้อมูลคอลัมน์ DataWrangler ยังสามารถแสดงข้อมูลของคุณที่ข้อมูลของคุณไม่มีข้อมูล ข้อมูลที่ขาดหายสามารถระบุข้อผิดพลาดในการจัดรูปแบบที่ต้องทำความสะอาด