วิศวกรรมข้อมูลด้วย Apache Beam และ Dataflow: สร้าง Batch Pipelines

วิศวกรรมข้อมูลสมัยใหม่ต้องการ pipelines ที่ปรับขนาดได้และเชื่อถือได้เพื่อประมวลผลชุดข้อมูลขนาดใหญ่ Apache Beam นำเสนอโมเดลที่ทรงพลังและเป็นหนึ่งเดียวสำหรับการกำหนด data pipelines ซึ่งคุณสามารถรันได้อย่างง่ายดายบนบริการคลาวด์ที่มีการจัดการ เช่น Dataflow หลักสูตรที่เป็นลายลักษณ์อักษรนี้จะแนะนำคุณตลอดแนวคิดพื้นฐานของการประมวลผลข้อมูล โดยพาคุณตั้งแต่การพัฒนา pipeline ในเครื่องไปจนถึงการปรับใช้ในระดับคลาวด์ คุณจะได้เรียนรู้วิธีเขียนโค้ด pipeline ที่สะอาดและบำรุงรักษาได้โดยใช้ Apache Beam Python SDK, การประยุกต์ใช้ transformations และการจัดการ data workflows ของคุณในสภาพแวดล้อมคลาวด์ สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดหลักของ data pipelines รวมถึง PCollections, Transforms, Pipeline Runners และ I/O connectors - กำหนดค่าสภาพแวดล้อมการพัฒนา Python ในเครื่อง โดยใช้ virtual environments ที่ทันสมัยและ SDK dependencies - ประยุกต์ใช้ transformations เพื่อดึงข้อมูล ทำความสะอาด และจัดรูปแบบข้อมูล โดยใช้ฟังก์ชันในตัวของ Apache Beam - ใช้ Python type hints เพื่อให้มั่นใจในความปลอดภัยของ pipeline, ความสามารถในการอ่านโค้ด และ data schemas ที่แข็งแกร่ง - ปรับใช้ batch processing pipelines ไปยัง Dataflow บนคลาวด์ เพื่อการดำเนินการที่มีการจัดการอย่างสมบูรณ์และปรับขนาดอัตโนมัติ (autoscaling) - ทดสอบและดีบักโค้ด pipeline ของคุณในเครื่อง ก่อนที่จะย้ายไปยังสภาพแวดล้อมการผลิต (production environments) คุณจะเริ่มต้นด้วยการทำความเข้าใจคำศัพท์พื้นฐานและการรัน pipeline ในเครื่อง จากนั้นจึงค่อยๆ ก้าวไปสู่ตรรกะการแปลงข้อมูลขั้นสูง (advanced transformation logic) สุดท้าย คุณจะได้สำรวจการรวมระบบคลาวด์ โดยเรียนรู้วิธีกำหนดค่าสิทธิ์และปรับใช้โค้ดของคุณเพื่อรันบนโครงสร้างพื้นฐานคลาวด์ที่มีการจัดการ หลักสูตรนี้ออกแบบมาสำหรับผู้ที่ต้องการเป็น data engineers, software developers และ data analysts ที่มีความเข้าใจพื้นฐานเกี่ยวกับ Python และต้องการเรียนรู้การประมวลผลข้อมูลแบบ cloud-native ไม่จำเป็นต้องมีประสบการณ์ล่วงหน้ากับ Apache Beam หรือ cloud data pipelines เริ่มอ่านวันนี้เพื่อสร้าง scalable data pipeline แรกของคุณตั้งแต่เริ่มต้น