ทางเลือกโซลูชันข้อมูลขนาดใหญ่ - หุ่น

มองผ่าน Hadoop คุณสามารถดูโซลูชันข้อมูลขนาดใหญ่ทางเลือกได้ที่ ขอบฟ้า. โซลูชันเหล่านี้ทำให้สามารถทำงานกับข้อมูลขนาดใหญ่ในแบบเรียลไทม์หรือใช้เทคโนโลยีฐานข้อมูลอื่นเพื่อจัดการและประมวลผลได้ ที่นี่คุณได้รับการแนะนำให้รู้จักกับกรอบการประมวลผลแบบเรียลไทม์แพลตฟอร์ม Massively Parallel Processing (MPP) และฐานข้อมูล NoSQL ที่ช่วยให้คุณสามารถทำงานกับข้อมูลขนาดใหญ่นอกสภาพแวดล้อมของ Hadoop ได้

คุณควรตระหนักถึงสิ่งที่เรียกว่าการปฏิบัติตาม ACID สั้น ๆ สำหรับ A ความเป็นฉนวน, ความ C การลอบสังหาร I และ D การปฏิบัติตามความไม่เสถียร การปฏิบัติตาม ACID เป็นมาตรฐานในการรับประกันการทำธุรกรรมฐานข้อมูลที่ถูกต้องและเชื่อถือได้ ในโซลูชันข้อมูลขนาดใหญ่ระบบฐานข้อมูลส่วนใหญ่ไม่ได้เป็นไปตามข้อกำหนดของ ACID แต่ไม่จำเป็นว่าจะเป็นปัญหาใหญ่ เนื่องจากระบบข้อมูลขนาดใหญ่ส่วนใหญ่ใช้ระบบสนับสนุนการตัดสินใจ (Decision Support Systems - DSS) ซึ่งประมวลผลข้อมูลแบทช์ก่อนที่ข้อมูลจะถูกอ่านออก

DSS เป็นระบบข้อมูลที่ใช้สำหรับการสนับสนุนการตัดสินใจขององค์กร DSS ที่ไม่เป็นธุรกรรมแสดงให้เห็นถึงความต้องการในการปฏิบัติตามข้อกำหนดของ ACID ตามจริง

กรอบเวลาในการประมวลผลแบบเรียลไทม์

บางครั้งคุณอาจจำเป็นต้องสืบค้นข้อมูลขนาดใหญ่ในแบบเรียลไทม์ … และคุณไม่สามารถทำสิ่งนี้ได้โดยใช้ Hadoop ในกรณีเหล่านี้ให้ใช้กรอบการประมวลผลแบบเรียลไทม์แทน กรอบการประมวลผลแบบเรียลไทม์

คือ - ตามที่นัยกันไว้ - กรอบงานที่สามารถประมวลผลข้อมูลในแบบเรียลไทม์ (หรือใกล้เคียงกับเวลาจริง) ในฐานะที่สตรีมข้อมูลและระบบไหลเข้าสู่ระบบ กรอบการประมวลผลแบบเรียลไทม์เป็นสิ่งที่ตรงกันข้ามของกรอบการประมวลผลชุดที่คุณเห็นว่าใช้งานได้ใน Hadoop

กรอบที่ลดค่าใช้จ่ายของงาน MapReduce เพื่อเพิ่มประสิทธิภาพโดยรวมของระบบ:

โซลูชั่นใน หมวดหมู่นี้รวมถึง Apache Storm และ Apache Spark สำหรับการประมวลผลแบบสตรีมมิ่งแบบเรียลไทม์

กรอบที่ใช้วิธีการสืบค้นแบบใหม่เพื่ออำนวยความสะดวกในการสืบค้นข้อมูลขนาดใหญ่ในแบบเรียลไทม์: โซลูชันบางอย่างในหมวดหมู่นี้ ได้แก่ Dremel, Apache Drill, Shark for Apache Hive ของ Google และ Impala Cloudera ของ Google
. แพลตฟอร์มการประมวลผลแบบขนาน (Massively Parallel Processing - MPP) สามารถใช้แทน MapReduce เป็นทางเลือกหนึ่งสำหรับการประมวลผลข้อมูลแบบกระจาย ถ้าเป้าหมายของคุณคือการปรับใช้การประมวลผลแบบขนานในคลังข้อมูลแบบเดิม MPP อาจเป็นทางออกที่สมบูรณ์แบบ

เพื่อให้เข้าใจว่า MPP เปรียบเทียบกับกรอบการประมวลผลแบบขนานมาตรฐาน MapReduce ให้พิจารณาสิ่งต่อไปนี้ MPP ใช้งานคอมพิวเตอร์แบบขนานในราคาแพงฮาร์ดแวร์ที่กำหนดเองขณะที่ MapReduce ดำเนินการเหล่านี้บนเซิร์ฟเวอร์สินค้าโภคภัณฑ์ราคาถูก ดังนั้นความสามารถในการประมวลผล MPP จึงมีข้อ จำกัด ด้านค่าใช้จ่าย กล่าวได้ว่า MPP ใช้งานได้เร็วและรวดเร็วกว่างาน MapReduce มาตรฐาน นั่นเป็นเพราะว่า MPP สามารถสอบถามได้โดยใช้ Structured Query Language (SQL) แต่งาน MapReduce ดั้งเดิมถูกควบคุมโดยภาษาโปรแกรม Java ที่ซับซ้อนมากขึ้น
ผู้จำหน่ายและผลิตภัณฑ์ MPP ที่รู้จักกันดี ได้แก่ แพลตฟอร์ม Teradata แบบเก่ารวมถึงโซลูชันใหม่ ๆ เช่น Greenplum DCA ของ EMC
2

ของ HP, Vertica ของ HP, IBM Netezza และ Exadata ของ Oracle

การแนะนำฐานข้อมูล NoSQL

ระบบจัดการฐานข้อมูลเชิงสัมพันธ์ ^{แบบเดิม} (RDBMS) ไม่สามารถจัดการกับความต้องการข้อมูลขนาดใหญ่ได้ เนื่องจากฐานข้อมูลเชิงสัมพันธ์แบบเดิมได้รับการออกแบบเพื่อจัดการเฉพาะชุดข้อมูลเชิงสัมพันธ์ที่สร้างขึ้นจากข้อมูลที่เก็บอยู่ในแถวและคอลัมน์ที่สะอาดแล้วจึงสามารถสืบค้นผ่าน Structured Query Language (SQL) ได้

ระบบ RDBM ไม่สามารถจัดการข้อมูลที่ไม่มีโครงสร้างและกึ่งโครงสร้างได้ นอกจากนี้ระบบ RDBM ก็ไม่มีความสามารถในการประมวลผลและการจัดการที่จำเป็นสำหรับการจัดเก็บข้อมูลปริมาณมากและความต้องการความเร็ว

นี่คือที่มาของ NoSQL ฐานข้อมูล NoSQL เช่น MongoDB ไม่ใช่ระบบฐานข้อมูลแบบกระจายที่ออกแบบมาเพื่อเพิ่มความท้าทายด้านข้อมูลขนาดใหญ่ ฐานข้อมูล NoSQL ก้าวออกมาจากโครงสร้างฐานข้อมูลเชิงสัมพันธ์แบบดั้งเดิมและมีโซลูชันที่มีประสิทธิภาพและสามารถปรับขนาดได้มากขึ้น ระบบ NoSQL ช่วยให้ข้อมูลที่ไม่ใช่ SQL สอบถามข้อมูลที่ไม่ใช่ข้อมูลเชิงสัมพันธ์หรือแบบไม่มีโครงร่างข้อมูลกึ่งโครงสร้างและไม่มีโครงสร้าง ด้วยวิธีนี้ฐานข้อมูล NoSQL สามารถจัดการกับโครงสร้างข้อมูลแบบมีโครงสร้างและไม่มีโครงสร้างที่เป็นข้อมูลทั่วไปในระบบข้อมูลขนาดใหญ่ NoSQL มีฐานข้อมูลที่ไม่เกี่ยวกับฐานข้อมูล 4 ประเภท ได้แก่ ฐานข้อมูลกราฟฟิกฐานข้อมูลเอกสารร้านค้าคีย์ - ค่าและร้านค้าคอลัมน์ครอบครัว เนื่องจาก NoSQL มีฟังก์ชันดั้งเดิมสำหรับโครงสร้างข้อมูลแต่ละประเภทที่แยกกันนี้จึงมีฟังก์ชันการจัดเก็บข้อมูลและเรียกค้นที่มีประสิทธิภาพสำหรับข้อมูลส่วนใหญ่ที่ไม่ใช่ข้อมูลเชิงสัมพันธ์ การปรับตัวและประสิทธิภาพนี้ทำให้ NoSQL เป็นทางเลือกที่นิยมมากขึ้นในการจัดการข้อมูลขนาดใหญ่และเพื่อเอาชนะความท้าทายในการประมวลผลที่มาพร้อมกับมัน

มีบางส่วนของการอภิปรายเกี่ยวกับความสำคัญของชื่อ NoSQL บางคนแย้งว่า NoSQL ย่อมาจาก

ไม่ใช่เฉพาะ SQL

ขณะที่บางคนอ้างว่าย่อมาจาก

ฐานข้อมูล Non-SQL

อาร์กิวเมนต์ค่อนข้างซับซ้อนและไม่มีคำตอบแบบตัดและแห้งจริงๆเพื่อให้สิ่งที่ง่ายเพียงแค่คิดว่า NoSQL เป็นคลาสของระบบจัดการฐานข้อมูลที่ไม่ใช่เชิงสัมพันธ์ซึ่งไม่ได้อยู่ในสเปกตรัมของระบบ RDBM ที่ถูกถามโดยใช้ SQL