Spark 3 Real-Time Stream Processing with Scala

ธุรกิจสมัยใหม่ต้องอาศัยข้อมูลเชิงลึกแบบทันทีเพื่อความได้เปรียบในการแข่งขัน การเรียนรู้วิธีประมวลผลข้อมูลเมื่อข้อมูลมาถึงเป็นทักษะที่สำคัญสำหรับมืออาชีพด้านข้อมูลสมัยใหม่ทุกคน หลักสูตรนี้นำคุณตั้งแต่แนวคิดพื้นฐานไปจนถึงการสร้างโซลูชันสตรีมมิ่งแบบเรียลไทม์ที่แข็งแกร่ง คุณจะได้เรียนรู้วิธีจัดการการไหลของข้อมูลอย่างต่อเนื่อง จัดการสถานะ และผสานรวมกับระบบภายนอกโดยใช้ภาษาโปรแกรม Scala สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจสถาปัตยกรรมหลักของ Spark Structured Streaming และโมเดลการประมวลผลแบบ micro-batch - ใช้หลักการเขียนโปรแกรมเชิงฟังก์ชันของ Scala เพื่อแปลงและรวมกลุ่มสตรีมข้อมูลแบบเรียลไทม์ - ผสานรวม Spark กับระบบส่งข้อความภายนอก เช่น Kafka เพื่อรับข้อมูลเหตุการณ์ความเร็วสูง - จัดการการดำเนินการที่ต้องใช้สถานะ (stateful operations) และหน้าต่าง (windowing) เพื่อวิเคราะห์ข้อมูลในช่วงเวลาที่กำหนด - ใช้รูปแบบ data lake สมัยใหม่โดยใช้ Delta Lake สำหรับ sinks แบบสตรีมที่เชื่อถือได้และรองรับ ACID - ฝึกเขียน unit tests สำหรับตรรกะการสตรีมเพื่อให้แน่ใจในความน่าเชื่อถือของไปป์ไลน์และคุณภาพของข้อมูล หลักสูตรเริ่มต้นด้วยคำศัพท์ที่จำเป็นและโมเดลการดำเนินการของ Spark ก่อนที่จะเข้าสู่แบบฝึกหัดการเขียนเพื่อสร้างไปป์ไลน์สตรีมมิ่งแบบ end-to-end คุณจะก้าวหน้าจากการแปลงข้อมูลอย่างง่ายไปสู่การผสานรวมหลายแหล่งข้อมูลที่ซับซ้อน ออกแบบมาสำหรับผู้เริ่มต้นด้านสตรีมมิ่ง หลักสูตรนี้เหมาะสำหรับวิศวกรซอฟต์แวร์และผู้เชี่ยวชาญด้านข้อมูลที่มีความเข้าใจพื้นฐานเกี่ยวกับการเขียนโปรแกรม เริ่มต้นการเดินทางของคุณสู่ data engineering แบบเรียลไทม์วันนี้