บางครั้งเมื่อเข้าถึงข้อมูลขนาดใหญ่ บริษัท ต่างๆต้องเผชิญกับข้อมูลจำนวนมากและไม่ค่อยมีความคิดที่จะไปต่ออีก ป้อนสตรีมข้อมูล เมื่อข้อมูลจำนวนมากต้องได้รับการประมวลผลอย่างรวดเร็วในเวลาใกล้เคียงจริงเพื่อให้ได้ข้อมูลเชิงลึกข้อมูลที่เคลื่อนไหวในรูปแบบสตรีมมิ่งข้อมูลเป็นคำตอบที่ดีที่สุด
อะไรคือข้อมูลที่ ไม่ ที่เหลือ? นี้จะเป็นระบบที่มีการจัดการการทำธุรกรรมที่ใช้งานและดังนั้นจึงต้องมีการติดตา ในกรณีนี้ข้อมูลจะถูกเก็บไว้ในที่เก็บข้อมูลการดำเนินงาน อย่างไรก็ตามในสถานการณ์อื่น ๆ ธุรกรรมเหล่านั้นได้รับการดำเนินการแล้วและถึงเวลาแล้วในการวิเคราะห์ข้อมูลดังกล่าวโดยทั่วไปในคลังข้อมูลหรือข้อมูลมาร์ก
ซึ่งหมายความว่าข้อมูลกำลังดำเนินการเป็นแบทช์และไม่ใช่แบบเรียลไทม์ เมื่อองค์กรกำลังวางแผนสำหรับอนาคตพวกเขาจะต้องสามารถวิเคราะห์ข้อมูลจำนวนมากได้จากข้อมูลเกี่ยวกับสิ่งที่ลูกค้าซื้อและทำไม สิ่งสำคัญคือต้องเข้าใจตัวชี้วัดการเปลี่ยนแปลงที่สำคัญ กล่าวอีกนัยหนึ่งว่าการเปลี่ยนแปลงจะมีผลต่อผลิตภัณฑ์และบริการใดที่องค์กรจะเสนอต่อไปในอนาคต?
องค์กรด้านการวิจัยหลายแห่งกำลังใช้การวิเคราะห์ข้อมูลขนาดใหญ่ประเภทนี้เพื่อค้นหายาใหม่ ๆ บริษัท ประกันภัยอาจต้องการเปรียบเทียบรูปแบบของการเกิดอุบัติเหตุจราจรในพื้นที่ทางภูมิศาสตร์ที่กว้างพร้อมกับสถิติสภาพอากาศ ในกรณีเหล่านี้ไม่มีประโยชน์อะไรที่จะจัดการข้อมูลนี้ในแบบเรียลไทม์ เห็นได้อย่างชัดเจนว่าการวิเคราะห์ต้องรวดเร็วและเป็นประโยชน์ นอกจากนี้องค์กรจะวิเคราะห์ข้อมูลเพื่อดูว่ารูปแบบใหม่เกิดขึ้นหรือไม่
ข้อมูลสตรีมมิ่งเป็นแพลตฟอร์มการประมวลผลเชิงวิเคราะห์ที่เน้นความเร็ว เนื่องจากแอปพลิเคชันเหล่านี้ต้องการข้อมูลข้อมูลที่ไม่มีโครงสร้างที่ต่อเนื่องตลอดเวลา ดังนั้นข้อมูลจะถูกวิเคราะห์อย่างต่อเนื่องและแปลงหน่วยความจำก่อนที่จะถูกเก็บไว้ในดิสก์ การประมวลผลข้อมูลของสตรีมทำงานโดยการประมวลผล "หน้าต่างเวลา" ของข้อมูลในหน่วยความจำในคลัสเตอร์ของเซิร์ฟเวอร์
วิธีนี้เหมือนกับวิธีการจัดการข้อมูลที่ใช้ประโยชน์จาก Hadoop ความแตกต่างหลักคือปัญหาความเร็ว ในกลุ่มข้อมูล Hadoop ข้อมูลจะถูกรวบรวมในโหมดแบทช์และประมวลผลแล้ว ความเร็วมีความสำคัญกับ Hadoop น้อยกว่าในสตรีมข้อมูล หลักการที่สำคัญบางข้อกำหนดเมื่อใช้สตรีมมีความเหมาะสมที่สุด:
-
เมื่อจำเป็นต้องกำหนดโอกาสในการซื้อสินค้าปลีกที่จุดหมั้นไม่ว่าจะผ่าน social media หรือผ่านการรับส่งข้อความอนุญาต
-
การรวบรวมข้อมูลเกี่ยวกับการเคลื่อนไหวรอบ ๆ ไซต์ที่ปลอดภัย
-
เพื่อให้สามารถตอบสนองต่อเหตุการณ์ที่ต้องได้รับการตอบสนองในทันทีเช่นการหยุดให้บริการหรือการเปลี่ยนแปลงสภาพทางการแพทย์ของผู้ป่วย
-
การคำนวณต้นทุนเรียลไทม์ที่ขึ้นอยู่กับตัวแปรเช่นการใช้และ ทรัพยากรที่มีอยู่
ข้อมูลสตรีมมิ่งมีประโยชน์เมื่อต้องมีการวิเคราะห์ข้อมูลแบบเรียลไทม์ขณะที่ข้อมูลกำลังเคลื่อนไหวอยู่ในความเป็นจริงค่าของการวิเคราะห์ (และมักเป็นข้อมูล) จะลดลงตามเวลา ตัวอย่างเช่นถ้าคุณไม่สามารถวิเคราะห์และดำเนินการได้ทันทีโอกาสในการขายอาจสูญหายไปหรืออาจมีการตรวจพบภัยคุกคาม
ต่อไปนี้เป็นตัวอย่างที่สามารถช่วยอธิบายว่านี่มีประโยชน์อย่างไร
โรงไฟฟ้าต้องมีสภาพแวดล้อมที่มีความปลอดภัยสูงเพื่อให้บุคคลที่ไม่ได้รับอนุญาตไม่รบกวนการจัดส่งพลังงานให้กับลูกค้า บริษัท มักจะวางเซ็นเซอร์รอบ ๆ บริเวณของไซต์เพื่อตรวจจับความเคลื่อนไหว แต่ปัญหาอาจเกิดขึ้นได้ มีความแตกต่างกันมากระหว่างกระต่ายที่วิ่งวนรอบบริเวณและขับรถโดยเร็วและจงใจ ดังนั้นข้อมูลจำนวนมหาศาลที่มาจากเซ็นเซอร์เหล่านี้จำเป็นต้องได้รับการวิเคราะห์แบบเรียลไทม์เพื่อให้สัญญาณเตือนดังขึ้นเฉพาะเมื่อเกิดภัยคุกคามจริงเท่านั้น
บริษัท ด้านการสื่อสารโทรคมนาคมในตลาดที่มีการแข่งขันสูงต้องการให้แน่ใจว่ามีการตรวจสอบการหยุดทำงานอย่างระมัดระวังเพื่อลดระดับการให้บริการลงไปในกลุ่มที่เหมาะสม ระบบสื่อสารสร้างไดรฟ์ข้อมูลจำนวนมหาศาลที่ต้องวิเคราะห์ในแบบเรียลไทม์เพื่อดำเนินการที่เหมาะสม ความล่าช้าในการตรวจจับข้อผิดพลาดอาจส่งผลต่อความพึงพอใจของลูกค้าอย่างจริงจัง
จำเป็นต้องพูดธุรกิจกำลังจัดการกับข้อมูลจำนวนมากที่ต้องได้รับการประมวลผลและวิเคราะห์ในแบบเรียลไทม์ ดังนั้นสภาพแวดล้อมทางกายภาพที่สนับสนุนการตอบสนองในระดับนี้เป็นสิ่งสำคัญ สภาพแวดล้อมของข้อมูลสตรีมมิ่งโดยทั่วไปต้องใช้โซลูชันฮาร์ดแวร์แบบคลัสเตอร์และบางครั้งก็ต้องใช้วิธีการประมวลผลแบบขนานอย่างหนาแน่นเพื่อจัดการกับการวิเคราะห์
ปัจจัยหนึ่งที่สำคัญเกี่ยวกับการวิเคราะห์ข้อมูลสตรีมมิ่งคือข้อเท็จจริงที่ว่าเป็นการวิเคราะห์แบบใช้ครั้งเดียว กล่าวอีกนัยหนึ่งนักวิเคราะห์ไม่สามารถวิเคราะห์ข้อมูลใหม่หลังจากสตรีม นี่เป็นเรื่องธรรมดาในแอพพลิเคชันที่คุณต้องการหาข้อมูล
ถ้าจำเป็นต้องมีการส่งข้อมูลหลาย ๆ ข้อมูลจะต้องใส่ข้อมูลลงในคลังสินค้าบางประเภทซึ่งสามารถทำการวิเคราะห์เพิ่มเติมได้ ตัวอย่างเช่นจำเป็นต้องสร้างบริบท ข้อมูลสตรีมมิ่งนี้เปรียบเทียบกับข้อมูลที่ผ่านมาได้อย่างไร? ความสัมพันธ์นี้สามารถบอกคุณได้มากเกี่ยวกับสิ่งที่มีการเปลี่ยนแปลงและสิ่งที่เปลี่ยนแปลงนั้นอาจหมายถึงธุรกิจของคุณ
