Kỹ thuật dữ liệu: Cấu hình chồng địa phương với Spark và AirflowQuery

Học kỹ thuật dữ liệu đòi hỏi phải hiểu cách kết hợp các công cụ khác nhau - như kho dữ kiện, bộ xử lý và dàn nhạc - thành một đường ống gắn kết, sẵn sàng sản xuất. Vào cuối khóa học này, bạn sẽ nắm vững các bước thực tế của việc thiết lập một môi trường cụm địa phương và thực hiện chiến lược phân tầng dữ liệu cơ bản (RAW, STG, CORE) được sử dụng bởi các đội dữ kiện chuyên nghiệp. Bạn sẽ học được: * Học kiến trúc và chức năng của các công cụ kỹ thuật dữ liệu cốt lõi bao gồm Spark, Airflow, Postgres và Jupyter. * Cấu hình một môi trường phát triển địa phương thống nhất sử dụng các khái niệm containerization cho cài đặt chồng tái tạo. * Apply logic data transformation using Spark to structure data into intermediate (STG) and final (CORE) layers. * Thực hành dàn dựng các luồng dữ liệu phức tạp sử dụng Airflow để đảm bảo thực hiện đáng tin cậy, theo lịch trình. * Hiểu và thực hiện chất lượng dữ liệu cơ bản và kiểm tra quản lý trong đường ống. * Thiết kế và lấp đầy các bảng phân tích trong một kho dữ liệu quan hệ (Postgres). Chương trình này bắt đầu với các khái niệm và định nghĩa cơ bản, sau đó hướng dẫn bạn từng bước một qua việc thiết lập cụm và thực hiện các bài tập hấp thụ và biến đổi dữ liệu ngày càng phức tạp. Chương trình này hoàn hảo cho người mới bắt đầu hoặc người phát triển muốn chuyển sang vai trò kỹ sư dữ liệu. Không cần kinh nghiệm trước với các công cụ cụ thể này. Bắt đầu xây dựng kỹ năng kỹ thuật dữ liệu cần thiết ngay hôm nay.