สถาปัตยกรรมองค์กรสำหรับข้อมูลขนาดใหญ่ - หุ่น

ในมุมมองเป้าหมายเป้าหมายในการออกแบบสถาปัตยกรรมสำหรับการวิเคราะห์ข้อมูลจะนำมาสู่การสร้างกรอบสำหรับจับภาพจัดเรียงและวิเคราะห์ข้อมูลขนาดใหญ่เพื่อวัตถุประสงค์ การค้นพบผลลัพธ์ที่สามารถดำเนินการได้

การคิดสถาปัตยกรรมที่จะแปลงข้อมูลขนาดใหญ่ให้กลายเป็นผลลัพธ์ที่สามารถดำเนินการได้

ไม่มีวิธีใดที่ถูกต้องในการออกแบบสภาพแวดล้อมทางสถาปัตยกรรมสำหรับการวิเคราะห์ข้อมูลขนาดใหญ่ อย่างไรก็ตามการออกแบบส่วนใหญ่จะต้องเป็นไปตามข้อกำหนดต่อไปนี้เพื่อสนับสนุนความท้าทายที่ข้อมูลขนาดใหญ่สามารถนำมาได้ เกณฑ์เหล่านี้สามารถกระจายได้มากกว่าหกชั้นและสามารถสรุปได้ดังนี้:

สถาปัตยกรรมของคุณควรประกอบด้วยซอฟต์แวร์ขนาดใหญ่และเครื่องมือข้อมูลขนาดใหญ่ที่สามารถวิเคราะห์จัดเก็บและดึงข้อมูลขนาดใหญ่ได้ ส่วนประกอบเหล่านี้ประกอบด้วยส่วนประกอบของ Spark หรือส่วนประกอบของระบบนิเวศ Hadoop (เช่น Mahout และ Apache Storm) คุณอาจต้องการใช้เครื่องมือขนาดใหญ่ข้อมูลขนาดใหญ่ที่จะใช้โดยนักวิทยาศาสตร์ข้อมูลในธุรกิจของคุณ ได้แก่ Radoop จาก RapidMiner, IBM Watson และอื่น ๆ อีกมากมาย

สถาปัตยกรรมของคุณควรสนับสนุนการจำลองเสมือน virtualization เป็นองค์ประกอบสำคัญของ cloud computing เนื่องจากช่วยให้ระบบปฏิบัติการและแอ็พพลิเคชันทำงานพร้อมกันบนเซิร์ฟเวอร์เดียวกัน เนื่องจากความสามารถนี้ระบบเสมือนจริงและระบบคลาวด์คอมพิวติ้งมักจับมือกันอยู่ นอกจากนี้คุณยังอาจนำมาใช้คลาวด์ส่วนตัวในสถาปัตยกรรมของคุณ เมฆส่วนตัวมีสถาปัตยกรรมแบบเดียวกับคลาวด์สาธารณะยกเว้นบริการในระบบคลาวด์ส่วนตัวจะถูก จำกัด ให้กับผู้ใช้จำนวนหนึ่งผ่านทางไฟร์วอลล์ Amazon Elastic Computer Cloud เป็นหนึ่งในผู้ให้บริการโซลูชันและพื้นที่จัดเก็บข้อมูลส่วนตัวสำหรับธุรกิจขนาดใหญ่และสามารถขยายธุรกิจได้ตามความต้องการ

สถาปัตยกรรมของคุณอาจต้องนำเสนอการวิเคราะห์แบบเรียลไทม์หากองค์กรของคุณทำงานกับข้อมูลที่รวดเร็ว (ข้อมูลที่ไหลในสตรีมด้วยอัตราที่รวดเร็ว) ในสถานการณ์ที่คุณจะต้องพิจารณาโครงสร้างพื้นฐานที่สามารถสนับสนุนแหล่งที่มาของข้อมูลเชิงลึกจากข้อมูลในเวลาจริงใกล้โดยไม่ต้องรอให้มีการเขียนข้อมูลลงในดิสก์ ตัวอย่างเช่นไลบรารีสตรีมมิ่งของ Apache Spark สามารถติดตั้งส่วนประกอบอื่น ๆ เพื่อสนับสนุนการวิเคราะห์ข้อมูลได้อย่างรวดเร็ว

สถาปัตยกรรมของคุณควรคำนึงถึงความปลอดภัยของข้อมูลขนาดใหญ่โดยการสร้างระบบการกำกับดูแลที่ครอบคลุมการจัดหาข้อมูลและผลการปฏิบัติงาน สถาปัตยกรรมการรักษาความปลอดภัยข้อมูลขนาดใหญ่ควรสอดคล้องกับหลักปฏิบัติและนโยบายด้านความปลอดภัยมาตรฐานในองค์กรของคุณที่ควบคุมการเข้าถึงแหล่งข้อมูล

สถาปัตยกรรมข้อมูลระดับองค์กร

หากคุณกำลังมองหาเครื่องมือที่มีประสิทธิภาพเพื่อช่วยคุณในการวิเคราะห์ข้อมูลโดยไม่จำเป็นต้องมีความชำนาญในอัลกอริทึมและความซับซ้อนที่อยู่เบื้องหลังการสร้างโมเดลที่คาดการณ์ไว้คุณควรลอง KNIME, RapidMiner หรือ IBM Watson และอื่น ๆ

เครื่องมือส่วนใหญ่ที่นำเสนอก่อนหน้านี้มีกล่องเครื่องมือพร้อมใช้งานที่ครอบคลุมซึ่งประกอบด้วยความสามารถที่จะทำให้คุณเริ่มต้นได้ ตัวอย่างเช่น RapidMiner มีอัลกอริทึมจำนวนมากจากรัฐที่แตกต่างกันของวงจรการวิเคราะห์การคาดการณ์ดังนั้นจึงเป็นแนวทางที่ง่ายในการผสานรวมและใช้งานโมเดลการวิเคราะห์อย่างง่าย

ด้วย RapidMiner คุณสามารถโหลดและจัดเตรียมข้อมูลสร้างและประเมินรูปแบบการทำนายได้อย่างรวดเร็วใช้กระบวนการข้อมูลในแอปพลิเคชันของคุณและแชร์กับผู้ใช้ทางธุรกิจของคุณ ด้วยการคลิกน้อยมากคุณสามารถสร้างแบบจำลองการวิเคราะห์ทำนายได้ง่ายๆ

การวิเคราะห์แบบลากและวางกับ RapidMiner

RapidMiner สามารถใช้ได้ทั้งผู้เริ่มต้นและผู้เชี่ยวชาญ RapidMiner Studio เป็นซอฟต์แวร์วิเคราะห์ข้อมูลแบบโอเพนซอร์สที่มีส่วนติดต่อแบบกราฟิกที่ง่ายต่อการใช้งานซึ่งคุณสามารถลากและวางอัลกอริทึมสำหรับการโหลดข้อมูลการประมวลผลข้อมูลล่วงหน้าอัลกอริธึมการวิเคราะห์เชิงคาดการณ์และการประเมินรูปแบบเพื่อสร้างกระบวนการวิเคราะห์ข้อมูลของคุณ

RapidMiner ถูกสร้างขึ้นเพื่อให้นักวิทยาศาสตร์ข้อมูลมีกล่องเครื่องมือที่ครอบคลุมซึ่งประกอบด้วยการดำเนินการและอัลกอริทึมต่างๆกว่าพันรายการ ข้อมูลสามารถโหลดได้อย่างรวดเร็วโดยไม่คำนึงว่าแหล่งข้อมูลของคุณอยู่ใน Excel, Access, MS SQL, MySQL, SPSS, Salesforce หรือรูปแบบอื่น ๆ ที่ RapidMiner สนับสนุน นอกเหนือจากการโหลดข้อมูลการสร้างแบบจำลองทำนายและการประเมินผลแบบจำลองแล้วเครื่องมือนี้ยังมีเครื่องมือในการแสดงข้อมูลซึ่งรวมถึงแผนที่การจัดตัวเองที่ปรับได้และกราฟ 3 มิติ

RapidMiner มีส่วนติดต่อการเขียนโปรแกรมแอ็พพลิเคชันส่วนขยายแบบเปิด (API) ที่ช่วยให้คุณรวมอัลกอริทึมของคุณลงในท่อที่สร้างขึ้นใน RapidMiner นอกจากนี้ยังสามารถทำงานร่วมกับหลายแพลตฟอร์มและสามารถทำงานบนระบบปฏิบัติการหลัก มีชุมชนออนไลน์แบบออนไลน์ของนักวิทยาศาสตร์ข้อมูลที่ใช้ RapidMiner ซึ่งสามารถแบ่งปันกระบวนการต่างๆและถามและตอบคำถามได้

อีกหนึ่งเครื่องมือที่ใช้งานง่ายซึ่งใช้กันอย่างแพร่หลายในโลกของการวิเคราะห์คือ KNIME KNIME ย่อมาจาก Konstanz Information Miner เป็นการวิเคราะห์ข้อมูลโอเพนซอร์สที่สามารถช่วยคุณสร้างแบบจำลองการคาดการณ์ได้ผ่านแนวคิดการวางท่อข้อมูล เครื่องมือนี้มีองค์ประกอบแบบลากและวางสำหรับ ETL (การสกัดการแปลงและการโหลด) และองค์ประกอบสำหรับการทำนายแบบคาดการณ์และการสร้างภาพข้อมูล

KNIME และ RapidMiner เป็นเครื่องมือที่ช่วยให้ทีมงานด้านข้อมูลของคุณสามารถเริ่มต้นสร้างแบบจำลองการคาดการณ์ได้อย่างง่ายดาย สำหรับกรณีการใช้งานที่ยอดเยี่ยมใน KNIME ให้ดูที่บทความ "The Seven Techniques for Dimensionality Reduction" RapidMiner Radoop เป็นผลิตภัณฑ์ของ RapidMiner ที่ขยายกล่องเครื่องมือการวิเคราะห์เชิงคาดการณ์ใน RapidMiner Studio เพื่อทำงานในสภาพแวดล้อม Hadoop และ SparkRadoop บรรจุหีบห่อ MapReduce หมู Mahout และ Spark หลังจากที่คุณกำหนดเวิร์กโฟลว์ของคุณบน Radoop คำแนะนำจะทำงานในสภาพแวดล้อม Hadoop หรือ Spark ดังนั้นคุณจึงไม่ต้องทำแบบจำลองการคาดการณ์ล่วงหน้า แต่มุ่งเน้นไปที่การประเมินโมเดลและการพัฒนาโมเดลใหม่

เพื่อความปลอดภัย Radoop สนับสนุนการตรวจสอบ Kerberos และทำงานร่วมกับ Apache Ranger และ Apache Sentry