Xử lý dữ liệu lớn với Spark và Scala

Chương trình này cung cấp một con đường rõ ràng để hiểu cách thức tính toán phân tán giải quyết những thách thức này bằng cách tận dụng sức mạnh của Spark và ngôn ngữ lập trình Scala. Bạn sẽ có được những kỹ năng cần thiết để biến dữ liệu thô thành những cái nhìn thực tế bằng cách sử dụng các khung hiệu suất cao. Cuối khóa học này, bạn sẽ có thể thiết kế và thực hiện logic xử lý dữ kiện có thể mở rộng qua các cụm, đảm bảo độ tin cậy và tốc độ trong bất kỳ môi trường nào được điều khiển bởi dữ liêu. Bạn sẽ học được: - Hiểu kiến trúc Spark và cách nó cải thiện mô hình MapReduce cũ - Học các nền tảng lập trình Scala được thiết kế cho kỹ thuật dữ liệu lớn - Master Resilient Distributed Datasets (RDDs) và Spark DataFrames hiện đại - Apply Spark SQL to execute complex queries on structured and semi-structured data - Cấu hình và quản lý cụm Spark để thực hiện công việc phân tán - Tìm hiểu Spark Structured Streaming để xử lý nguồn dữ liệu thời gian thực - Thực hành các kỹ thuật tối ưu hóa dữ liệu để cải thiện hiệu suất đường ống Chương trình bắt đầu với thuật ngữ cơ bản và các nguyên tắc cơ bản của hệ thống phân tán. Sau đó bạn sẽ tiến hành qua các giải thích bằng văn bản và bài tập dựa trên mã bao gồm mọi thứ từ thao tác dữ liệu cơ bản đến tích hợp SQL nâng cao và xử lý luồng. Lớp học này được thiết kế cho người mới bắt đầu, kỹ sư dữ liệu tham vọng, và các nhà phân tích đang tìm cách chuyển sang các vai trò dữ kiện lớn. Không cần kinh nghiệm trước đó với Spark hoặc Scala để bắt đầu. Bắt đầu xây dựng chuyên môn của bạn trong kiến trúc dữ liệu lớn hôm nay.