Data Lake Architecture on AWS with .NET and S3

การจัดการชุดข้อมูลขนาดใหญ่ต้องการมากกว่าแค่ฐานข้อมูลมาตรฐาน แต่ต้องการสถาปัตยกรรม data lake ที่แข็งแกร่ง คอร์สนี้จะมอบเส้นทางที่ชัดเจนในการทำความเข้าใจว่าบริการคลาวด์ต่างๆ ทำงานร่วมกันอย่างไรเพื่อจัดเก็บ แปลง และวิเคราะห์ข้อมูลอย่างมีประสิทธิภาพ คุณจะได้เปลี่ยนจากการทำความเข้าใจการจัดเก็บข้อมูลพื้นฐานไปสู่การใช้งาน data pipeline ที่สมบูรณ์ซึ่งย้ายข้อมูลจากแหล่งข้อมูลภายในไปยังสภาพแวดล้อมคลาวด์ที่มีโครงสร้างและสามารถค้นหาได้ โดยมุ่งเน้นไปที่ส่วนประกอบ serverless คุณจะได้เรียนรู้วิธีสร้างระบบที่ปรับขนาดได้โดยอัตโนมัติพร้อมทั้งรักษาต้นทุนให้ต่ำ สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจหลักการพื้นฐานของสถาปัตยกรรม data lake และพื้นฐานการจัดเก็บข้อมูลบนคลาวด์ - กำหนดค่า S3 buckets และ Kinesis Data Firehose สำหรับการนำเข้าข้อมูลแบบเรียลไทม์ที่เชื่อถือได้ - เชี่ยวชาญ AWS Glue สำหรับการทำแคตตาล็อกข้อมูลและการค้นหา schema อัตโนมัติ - สอบถามชุดข้อมูลขนาดใหญ่โดยใช้ SQL มาตรฐานกับ Athena โดยไม่ต้องจัดการเซิร์ฟเวอร์ใดๆ - ใช้ AWS SDK for .NET เพื่อโต้ตอบกับบริการคลาวด์แบบโปรแกรมโดยใช้รูปแบบ C# สมัยใหม่ - ใช้การจัดรูปแบบไฟล์ Parquet เพื่อเพิ่มประสิทธิภาพต้นทุนการจัดเก็บและปรับปรุงประสิทธิภาพการสอบถาม - ฝึกย้ายข้อมูลจากฐานข้อมูล SQL ภายในไปยังสภาพแวดล้อม RDS บนคลาวด์ คอร์สนี้เริ่มต้นด้วยคำศัพท์พื้นฐานและการกำหนดบริการก่อนที่จะเข้าสู่ตรรกะของการย้ายและการแปลงข้อมูล คุณจะได้อ่านสถานการณ์การใช้งานจริงและตัวอย่างที่ใช้โค้ดเพื่อเชื่อมช่องว่างระหว่างฐานข้อมูลภายในและ analytics แบบ cloud-native คอร์สนี้ออกแบบมาสำหรับนักพัฒนาเริ่มต้นและผู้ที่สนใจข้อมูลซึ่งมีความเข้าใจพื้นฐานเกี่ยวกับ C# ที่ต้องการสำรวจ data engineering บนคลาวด์ ไม่จำเป็นต้องมีประสบการณ์คลาวด์มาก่อนเพื่อเริ่มต้น เริ่มต้นสร้างความรู้พื้นฐานด้าน data engineering บนคลาวด์ของคุณวันนี้