พื้นฐานวิศวกรรมข้อมูลด้วย Spark, Databricks, และ Delta Lake

ธุรกิจสมัยใหม่พึ่งพาไปป์ไลน์ข้อมูลที่แข็งแกร่งเพื่อเปลี่ยนข้อมูลดิบให้เป็นข้อมูลเชิงลึกที่นำไปปฏิบัติได้ ทำให้วิศวกรรมข้อมูลเป็นหนึ่งในทักษะที่สำคัญที่สุดในปัจจุบัน หลักสูตรนี้จะแนะนำแนวคิดหลักของสถาปัตยกรรม lakehouse ให้คุณ ซึ่งจะมอบรากฐานที่มั่นคงในการประมวลผลข้อมูลสมัยใหม่ คุณจะเปลี่ยนจากการทำความเข้าใจแนวคิดข้อมูลพื้นฐานไปสู่การอ่าน การเขียน และการดำเนินการไปป์ไลน์ข้อมูล ผ่านคำอธิบายที่เป็นลายลักษณ์อักษรที่ชัดเจนและตัวอย่างโค้ดที่มีโครงสร้างใน Python และ Scala คุณจะได้เรียนรู้วิธีประมวลผลชุดข้อมูลขนาดใหญ่ จัดการตารางข้อมูลที่เชื่อถือได้ และนำเวิร์กโฟลว์ข้อมูลที่เป็นมาตรฐานอุตสาหกรรมไปใช้ สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจหลักการพื้นฐานของสถาปัตยกรรม Databricks Lakehouse และการประมวลผลแบบกระจาย (distributed computing) ด้วย Apache Spark - สร้างไปป์ไลน์ข้อมูลที่เชื่อถือได้โดยใช้ Spark SQL, DataFrames และ APIs ทั้งใน Python และ Scala - จัดการ Delta Tables โดยใช้คุณสมบัติขั้นสูง เช่น time travel, version history และ schema evolution - ปรับปรุงประสิทธิภาพการสืบค้นข้อมูลโดยใช้ Delta caching, การจัดการไฟล์ และรูปแบบการจัดเก็บข้อมูลสมัยใหม่ - กำหนดค่าธรรมาภิบาลข้อมูล (data governance) และพื้นฐานการจัดเก็บไฟล์โดยใช้ Unity Catalog volumes - ประยุกต์ใช้แนวทางการทดสอบและตรวจสอบไปป์ไลน์ข้อมูลเพื่อให้มั่นใจในคุณภาพข้อมูลและความน่าเชื่อถือของไปป์ไลน์ การเดินทางเริ่มต้นด้วยคำศัพท์วิศวกรรมข้อมูลที่จำเป็นและการตั้งค่า Spark ก่อนที่จะดำเนินการอย่างเป็นระบบผ่านการแปลง DataFrame, การโหลดข้อมูล, การดำเนินการ Delta Lake และการปรับแต่งประสิทธิภาพ คุณจะได้อ่านคำแนะนำโค้ดที่ครอบคลุมและฝึกฝนด้วยแบบฝึกหัดเชิงแนวคิดที่ออกแบบมาเพื่อเสริมสร้างการเรียนรู้ของคุณ หลักสูตรนี้ออกแบบมาสำหรับวิศวกรข้อมูลที่ต้องการเป็นมืออาชีพ ผู้ดูแลระบบฐานข้อมูล และนักพัฒนาซอฟต์แวร์ที่เพิ่งเริ่มต้นกับเทคโนโลยี big data ไม่จำเป็นต้องมีประสบการณ์มาก่อนกับ Spark หรือ Databricks แม้ว่าความคุ้นเคยพื้นฐานกับ SQL และแนวคิดการเขียนโปรแกรมทั่วไปจะเป็นประโยชน์ เริ่มสร้างรากฐานวิศวกรรมข้อมูลของคุณวันนี้