Apache Spark 3 và Kỹ thuật dữ liệu lớn với Scala

Yêu cầu dữ liệu hiện đại đòi hỏi các công cụ có thể xử lý các tập dữ kiện khổng lồ trên các cụm phân phối với tốc độ và độ tin cậy. Chương trình này cung cấp một con đường rõ ràng cho các lập trình viên chuyển sang kỹ thuật dữ liệu lớn bằng cách nắm vững các thành phần cốt lõi của hệ sinh thái Spark. Bạn sẽ chuyển từ việc hiểu cấu trúc dữ liệu cơ bản đến xây dựng phức tạp, các đường ống xử lý phân phối có thể xử lí terabytes thông tin. Vào cuối khóa học này, bạn sẽ có một mô hình tinh thần vững chắc về cách các hệ thống phân phối hoạt động và các kỹ năng thực tế để viết mã Scala sẵn sàng cho các nhiệm vụ đòi hỏi nhiều dữ liệu. Bạn sẽ có thể định hướng sự trao đổi giữa các API Spark khác nhau và thực hiện tối ưu hóa để đảm bảo các ứng dụng của bạn chạy hiệu quả theo quy mô. Bạn sẽ học được: - Hiểu kiến trúc của Spark và cách nó quản lý tính toán phân tán trên một cụm. - Xử lý dữ liệu cấu trúc hiệu quả bằng cách sử dụng API Spark SQL và DataFrame. - Apply type-safe data transformations with Datasets for robust and maintainable application development. - Quản lý trừu tượng dữ liệu cấp thấp và logic tùy chỉnh sử dụng Resilient Distributed Datasets (RDDs). - Tối ưu hiệu suất ứng dụng bằng cách sử dụng các kỹ thuật hiện đại như Adaptive Query Execution và shuffling hiệu quả. - Thực hiện lọc dữ liệu phức tạp, tổng hợp và tham gia các chiến lược cho các tập dữ kiện quy mô lớn. - Thực hành gỡ lỗi và giám sát các ứng dụng phân phối để đảm bảo tính toàn vẹn và hiệu suất dữ liệu. Chương trình bắt đầu với các định nghĩa cơ bản của tính toán phân tán và Spark internals trước khi tiến hành xử lý dữ liệu có cấu trúc và tối ưu hóa cấp thấp. Mỗi mô-đun tập trung vào việc đọc và phân tích các mã thực hiện để đảm bảo bạn có thể áp dụng các khái niệm này vào các kịch bản thế giới thực. Lớp học này được thiết kế cho các nhà phát triển có kiến thức cơ bản về Scala và muốn bước vào thế giới dữ liệu lớn. Không cần kinh nghiệm trước với Spark hoặc các hệ thống phân phối. Bắt đầu xây dựng các giải pháp dữ liệu hiệu suất cao với Spark và Scala ngay hôm nay.