Các đường ống dữ liệu tự động với Spark, dbt, và Airflow

Trong thế giới dẫn dắt dữ liệu ngày nay, các tổ chức dựa vào các đường ống mạnh để xử lý các tập dữ kiện lớn hiệu quả. Lớp học dựa trên văn bản này hướng dẫn bạn qua các khái niệm cơ bản của kỹ thuật dữ liệu hiện đại, cho bạn thấy cách phối hợp các luồng công việc phức tạp từ đầu. Bạn sẽ chuyển từ việc hiểu các thuật ngữ dữ liệu cơ bản đến tự tin thiết kế các đường ống tự động có quy mô. Bạn sẽ học được gì: - Hiểu kiến trúc cốt lõi của Spark, dbt và Airflow và cách chúng làm việc cùng nhau. - Xây dựng mô hình chuyển đổi dữ liệu cấu trúc sử dụng dbt để làm sạch và tổ chức dữ kiện thô. - Cấu hình Airflow DAGs để lên lịch, tự động hóa và theo dõi các luồng dữ liệu của bạn. - Apply hiện đại dữ liệu chất lượng kiểm tra và xác minh sơ đồ để đảm bảo độ tin cậy đường ống. - Hợp nhất các công việc xử lý Spark một cách trơn tru trong các đường ống Airflow của anh. - Thực hành các nguyên tắc thiết kế đường ống thông qua các bài tập viết từng bước và mã đi bộ. Anh sẽ bắt đầu bằng cách nắm vững thuật ngữ và các mô hình kiến trúc. Từ đó, bạn sẽ khám phá cách viết các biến đổi Spark, các dự án dbt cấu trúc, và gắn kết mọi thứ với nhau bằng cách sử dụng động cơ dàn nhạc mạnh mẽ của Airflow. Lớp học này được thiết kế cho các kỹ sư dữ liệu, nhà phân tích và nhà phát triển tham vọng muốn có một sự giới thiệu rõ ràng, thân thiện với người mới bắt đầu về tự động hóa đường ống mà không có bất kỳ yêu cầu phức tạp nào. Bắt đầu đọc hôm nay để xây dựng nền tảng kỹ thuật dữ liệu thực tế của bạn.