บทบาทของ ETL แบบดั้งเดิมในข้อมูลขนาดใหญ่ - หุ่น

เครื่องมือ ETL จะรวมฟังก์ชันที่สำคัญ 3 อย่าง (สารสกัดการแปลงโหลด) เพื่อให้ได้ข้อมูลจากสภาพแวดล้อมข้อมูลขนาดใหญ่ และใส่ลงในสภาพแวดล้อมข้อมูลอื่น ตามเนื้อผ้า ETL ใช้กับการประมวลผลเป็นแบทช์ในสภาพแวดล้อมคลังข้อมูล คลังข้อมูลช่วยให้ผู้ใช้ทางธุรกิจสามารถรวบรวมข้อมูลเพื่อวิเคราะห์และรายงานข้อมูลที่เกี่ยวข้องกับการมุ่งเน้นธุรกิจของตน เครื่องมือ ETL ใช้เพื่อแปลงข้อมูลให้เป็นรูปแบบที่คลังข้อมูลต้องการ

การแปลงข้อมูลทำได้จริงในตำแหน่งระดับกลางก่อนที่ข้อมูลจะถูกโหลดลงในคลังข้อมูล ผู้จำหน่ายซอฟต์แวร์หลายรายรวมทั้ง IBM, Informatica, Pervasive, Talend และ Pentaho ให้เครื่องมือซอฟต์แวร์ ETL

ETL ให้โครงสร้างพื้นฐานสำหรับการรวมเข้าด้วยกันโดยทำหน้าที่สำคัญสามอย่าง:

• Extract: อ่านข้อมูลจากฐานข้อมูลต้นฉบับ

• การแปลง: แปลงรูปแบบของข้อมูลที่ดึงออกมาเพื่อให้เป็นไปตามข้อกำหนดของฐานข้อมูลเป้าหมาย การแปลงทำได้โดยใช้กฎหรือการรวมข้อมูลกับข้อมูลอื่น ๆ

• โหลด: เขียนข้อมูลลงในฐานข้อมูลเป้าหมาย

อย่างไรก็ตาม ETL มีการพัฒนาเพื่อสนับสนุนการผสานรวมมากกว่าคลังข้อมูลแบบดั้งเดิม ETL สามารถสนับสนุนการผสานรวมระบบการทำธุรกรรมคลังข้อมูลการดำเนินงานแพลตฟอร์ม BI ฮับ MDM ระบบคลาวด์และแพลตฟอร์ม Hadoop ผู้จัดจำหน่ายซอฟต์แวร์ ETL กำลังขยายโซลูชันเพื่อให้ได้ข้อมูลการแปลงและโหลดข้อมูลขนาดใหญ่ระหว่าง Hadoop และแพลตฟอร์มการจัดการข้อมูลแบบเดิม

ETL และเครื่องมือซอฟต์แวร์สำหรับกระบวนการรวมข้อมูลอื่น ๆ เช่นการทำความสะอาดข้อมูลการกำหนดโปรไฟล์และการตรวจสอบการทำงานทั้งหมดในแง่มุมต่างๆของข้อมูลเพื่อให้มั่นใจว่าข้อมูลจะได้รับการพิจารณาว่าเชื่อถือได้ เครื่องมือ ETL ทำงานร่วมกับเครื่องมือที่มีคุณภาพข้อมูลและมีเครื่องมือสำหรับการทำความสะอาดข้อมูลการทำแผนที่ข้อมูลและการระบุสายเลือดข้อมูล ด้วย ETL คุณจะดึงข้อมูลที่คุณต้องการสำหรับการผสานรวมเท่านั้น

เครื่องมือ ETL จำเป็นสำหรับการโหลดและแปลงข้อมูลที่มีโครงสร้างและไม่มีโครงสร้างเป็น Hadoop เครื่องมือ ETL ขั้นสูงสามารถอ่านและเขียนไฟล์หลายไฟล์แบบขนานจากและไปยัง Hadoop เพื่อลดความซับซ้อนของการผสานข้อมูลลงในกระบวนการแปลงข้อมูลร่วมกัน โซลูชันบางอย่างรวมไลบรารีการแปลง ETL ไว้ล่วงหน้าสำหรับทั้งข้อมูลการทำธุรกรรมและการโต้ตอบที่ทำงานบน Hadoop หรือโครงสร้างพื้นฐานแบบกริดแบบดั้งเดิม

การแปลงข้อมูลเป็นกระบวนการของการเปลี่ยนรูปแบบของข้อมูลเพื่อให้สามารถใช้งานได้หลากหลายรูปแบบซึ่งอาจหมายถึงการเปลี่ยนแปลงจากรูปแบบข้อมูลจะถูกเก็บไว้ในรูปแบบที่จำเป็นโดยโปรแกรมที่จะใช้ข้อมูล กระบวนการนี้ยังรวมถึงคำแนะนำ แผนที่ เพื่อให้แอพพลิเคชันถูกบอกวิธีรับข้อมูลที่ต้องการ

ขั้นตอนการแปลงข้อมูลทำได้ซับซ้อนมากขึ้นเนื่องจากมีการเติบโตของข้อมูลที่ไม่มีโครงสร้าง แอปพลิเคชันทางธุรกิจเช่นการจัดการความสัมพันธ์กับลูกค้ามีความต้องการเฉพาะสำหรับวิธีจัดเก็บข้อมูล ข้อมูลมีแนวโน้มว่าจะ โครงสร้าง ในแถวที่จัดไว้และคอลัมน์ของฐานข้อมูลเชิงสัมพันธ์ ข้อมูล มีโครงสร้างกึ่งโครงสร้าง หรือ ไม่มีโครงสร้าง หากไม่เป็นไปตามข้อกำหนดรูปแบบที่เข้มงวด

ข้อมูลที่มีอยู่ในข้อความอีเมลถือว่าไม่มีโครงสร้างเช่น ข้อมูลที่สำคัญที่สุดของ บริษัท บางส่วนอยู่ในรูปแบบที่ไม่มีโครงสร้างและแบบกึ่งโครงสร้างเช่นเอกสารอีเมลข้อความรูปแบบข้อความที่ซับซ้อนการโต้ตอบกับลูกค้าการทำธุรกรรมและข้อมูลที่มาจากแอพพลิเคชันที่มีการบรรจุเช่น ERP และ CRM

เครื่องมือการแปลงข้อมูลไม่ได้ออกแบบให้ทำงานได้ดีกับข้อมูลที่ไม่มีโครงสร้าง เป็นผลให้ บริษัท จำเป็นต้องรวมข้อมูลที่ไม่มีโครงสร้างเข้ากับกระบวนการตัดสินใจทางธุรกิจของตนจึงต้องเผชิญกับการเข้ารหัสด้วยตนเองจำนวนมากเพื่อบรรลุการรวมข้อมูลที่ต้องการ

เนื่องจากการเติบโตและความสำคัญของข้อมูลที่ไม่มีโครงสร้างในการตัดสินใจโซลูชัน ETL จากผู้จัดจำหน่ายรายใหญ่กำลังเริ่มนำเสนอวิธีการมาตรฐานในการแปลงข้อมูลที่ไม่มีโครงสร้างเพื่อให้สามารถรวมเข้ากับข้อมูลโครงสร้างที่มีการดำเนินงานได้ง่ายขึ้น