Kỹ thuật đường ống dữ liệu hàng loạt trên nền tảng đám mây

Các tổ chức hiện đại dựa vào dữ liệu chính xác và kịp thời để đưa ra quyết định, tuy nhiên quản lý xử lý hàng loạt quy mô lớn vẫn là một thách thức kiến trúc phức tạp. Bạn sẽ học cách thiết kế và thực hiện các đường ống dữ liệu mạnh mẽ, chuyển đổi các tập dữ kiện thô thành những hiểu biết có thể thực hiện bằng cách sử dụng các công cụ tiêu chuẩn của ngành và công nghệ không có máy chủ. Bạn sẽ học được: - Hiểu các nguyên tắc cơ bản của xử lý hàng loạt và kiến trúc đường ống dữ liệu - Thực hiện biến đổi dữ liệu có thể mở rộng bằng cách sử dụng Dataflow và Apache Beam - Cấu hình môi trường Spark không cần máy chủ với Dataproc để quản lý tài nguyên hiệu quả - Đoàn kết các công việc phức tạp để đảm bảo giao tiếp dữ liệu đáng tin cậy và tự động - Ứng dụng kiểm tra chất lượng dữ liệu và thực hành giám sát để duy trì sức khỏe đường ống - Hợp nhất các nguyên tắc CI / CD cho việc kiểm tra tự động và triển khai các luồng dữ liệu Chương trình bắt đầu với thuật ngữ cơ bản và các khái niệm cơ bản trước khi chuyển sang các chiến lược thực hiện thực tế cho việc xử lý dữ liệu quy mô lớn và tự động hóa công việc. Cách tiếp cận có cấu trúc này đảm bảo bạn xây dựng một nền tảng lý thuyết vững chắc trước khi khám phá các mô hình chuyển đổi phức tạp. Thiết kế cho các kỹ sư và nhà phân tích dữ liệu tham vọng, khóa học này có thể tiếp cận với người mới bắt đầu mà không có kinh nghiệm trước đó trong cơ sở hạ tầng đám mây hoặc thiết kế đường ống.