Kỹ thuật dữ liệu với Apache Beam và Dataflow: Xây dựng các Pipeline Batch

Kỹ thuật dữ liệu hiện đại đòi hỏi các pipeline có thể mở rộng, đáng tin cậy để xử lý các tập dữ liệu khổng lồ. Apache Beam cung cấp một mô hình thống nhất, mạnh mẽ để xác định các pipeline dữ liệu mà bạn có thể chạy dễ dàng trên các dịch vụ đám mây được quản lý như Dataflow. Khóa học bằng văn bản này sẽ hướng dẫn bạn các khái niệm cơ bản về xử lý dữ liệu, đưa bạn từ phát triển pipeline cục bộ đến triển khai trên quy mô đám mây. Bạn sẽ học cách viết mã pipeline sạch sẽ, dễ bảo trì bằng Apache Beam Python SDK, áp dụng các phép biến đổi và điều phối quy trình công việc dữ liệu của bạn trong môi trường đám mây. Bạn sẽ học được: - Hiểu các khái niệm cốt lõi của pipeline dữ liệu, bao gồm PCollections, Transforms, Pipeline Runners và I/O connectors. - Cấu hình môi trường phát triển Python cục bộ bằng cách sử dụng các môi trường ảo hiện đại và các phụ thuộc SDK. - Áp dụng các phép biến đổi để trích xuất, làm sạch và định dạng dữ liệu bằng các hàm tích hợp của Apache Beam. - Triển khai các gợi ý kiểu Python để đảm bảo an toàn pipeline, khả năng đọc mã và lược đồ dữ liệu mạnh mẽ. - Triển khai các pipeline xử lý batch lên Dataflow trên đám mây để thực thi tự động mở rộng, được quản lý hoàn toàn. - Kiểm tra và gỡ lỗi mã pipeline của bạn cục bộ trước khi chuyển nó sang môi trường sản xuất. Bạn sẽ bắt đầu bằng cách làm chủ các thuật ngữ cơ bản và thực thi pipeline cục bộ, dần dần chuyển sang logic biến đổi nâng cao. Cuối cùng, bạn sẽ khám phá tích hợp đám mây, học cách cấu hình quyền và triển khai mã của bạn để chạy trên cơ sở hạ tầng đám mây được quản lý. Khóa học này được thiết kế cho các kỹ sư dữ liệu, nhà phát triển phần mềm và nhà phân tích dữ liệu đầy tham vọng, những người có hiểu biết cơ bản về Python và muốn tìm hiểu về xử lý dữ liệu gốc trên đám mây. Không yêu cầu kinh nghiệm trước đó với Apache Beam hoặc các pipeline dữ liệu đám mây. Bắt đầu đọc ngay hôm nay để xây dựng pipeline dữ liệu có thể mở rộng đầu tiên của bạn từ đầu.