Practical Apache Airflow: Build Data Pipelines

ข้อมูลเคลื่อนที่อย่างรวดเร็ว และการจัดการเวิร์กโฟลว์ที่ซับซ้อนด้วยตนเองนั้นไม่สามารถใช้งานได้อีกต่อไปในวิศวกรรมข้อมูลสมัยใหม่ Apache Airflow ได้กลายเป็นมาตรฐานอุตสาหกรรมสำหรับการกำหนดเวลา การทำให้เป็นอัตโนมัติ และการตรวจสอบไปป์ไลน์ข้อมูลด้วยโปรแกรม ในหลักสูตรที่เน้นข้อความนี้ คุณจะได้เรียนรู้วิธีจัดการกระบวนการข้อมูลในโลกแห่งความเป็นจริงตั้งแต่ต้น คุณจะเริ่มต้นด้วยคำศัพท์หลักของการจัดการเวิร์กโฟลว์ และค่อยๆ พัฒนาไปสู่การเขียน การปรับใช้ และการแก้ไขปัญหา Directed Acyclic Graphs (DAGs) ของคุณเองโดยใช้ Python. สิ่งที่คุณจะได้เรียนรู้: • ทำความเข้าใจส่วนประกอบหลักของ Apache Airflow รวมถึง schedulers, workers และ operators. • ออกแบบ Directed Acyclic Graphs (DAGs) ที่แข็งแกร่งและ idempotent เพื่อสร้างแบบจำลองเวิร์กโฟลว์ข้อมูลที่ซับซ้อน. • นำแนวทางปฏิบัติของ Airflow สมัยใหม่มาใช้ เช่น dynamic task mapping และ Python TaskFlow API. • ฝึกกำหนดเวลา ทริกเกอร์ และตรวจสอบงานผ่านแบบฝึกหัดการเขียนแบบมีคำแนะนำ. • กำหนดค่าและแยกไปป์ไลน์ข้อมูลโดยใช้แนวคิด containerization สมัยใหม่. • สร้างไปป์ไลน์ข้อมูลที่ใช้งานได้จริงตั้งแต่ต้นจนจบโดยใช้รูปแบบมาตรฐานอุตสาหกรรม. หลักสูตรนี้ไหลลื่นอย่างมีเหตุผลตั้งแต่แนวคิดการจัดการพื้นฐานและคำจำกัดความพื้นฐานไปจนถึงการจัดการงานและการปรับใช้ไปป์ไลน์ในทางปฏิบัติ คุณจะได้อ่านคำอธิบายที่ชัดเจนและนำสิ่งที่ได้เรียนรู้ไปใช้ผ่านตัวอย่างโค้ดที่ใช้งานได้จริงเพื่อเสริมสร้างความเข้าใจของคุณ หลักสูตรนี้ออกแบบมาสำหรับผู้เริ่มต้นและผู้เชี่ยวชาญด้านข้อมูลที่มุ่งมั่นโดยเฉพาะ ไม่จำเป็นต้องมีประสบการณ์ Airflow หรือการจัดการข้อมูลที่ซับซ้อนมาก่อน เริ่มต้นการเดินทางสู่การจัดการข้อมูลสมัยใหม่ของคุณวันนี้