Phân tích chuỗi thời gian có thể mở rộng với Spark

Quản lý lượng lớn dữ liệu có dấu thời gian đòi hỏi các công cụ có quy mô vượt quá một máy duy nhất. Spark cung cấp năng lượng xử lý song song cần thiết để phân tích, làm sạch và mô hình hóa các tập dữ liệu tạm thời tốc độ cao hiệu quả. Lớp học dựa trên văn bản này hướng dẫn bạn từ các khái niệm cơ bản của dữ liệu chuỗi thời gian để xây dựng các đường ống dự báo phân phối. Bạn sẽ có được kỹ năng để thao tác dấu thời gian, xử lý các giá trị tạm thời bị thiếu, và áp dụng các mô hình học máy cho dữ liệu quy mô lớn bằng cách sử dụng Spark SQL và PySpark. Bạn sẽ học được gì: Hiểu được các đặc điểm cốt lõi của dữ liệu chuỗi thời gian, bao gồm xu hướng, tính theo mùa và nhiễu; Thao tác dữ kiện thời gian bằng Spark SQL và các thao tác PySpark DataFrame hiện đại; Xử lý các thách thức dữ lượng thông thường như khoảng thời gian thiếu, tái lấy mẫu và sắp xếp múi giờ theo quy mô; Ứng dụng các hàm cửa sổ để tính toán Trung bình di chuyển, tổng cộng, và chỉ số chậm chạp trên các phân vùng phân phối; Tạo mô hình dự báo có thể mở rộng bằng cách sử dụng Spark MLlib và tích hợp các mô hình thư viện hiện đại; Cấu hình công việc Spark cho hiệu suất tối ưu khi xử lý các tập dữ liệu lịch sử quy mô lớn được lưu trữ trong các định dạng hiện đại như Delta Lake. Chương trình bắt đầu với các định nghĩa cơ bản của các khái niệm chuỗi thời gian trước khi chuyển sang các mô hình mã PySpark có cấu trúc. Bạn sẽ tiến hành từ truy vấn cơ bản đến các thao tác cửa sổ nâng cao và các luồng công việc học máy phân phối. Chương trình này được thiết kế cho các nhà phân tích dữ liệu, nhà phát triển và các nhà khoa học dữ kiện tham vọng mới đến tính toán phân tán và muốn học các kỹ thuật chuỗi thời gian có thể mở rộng mà không cần điều kiện tiên quyết phức tạp. Hãy bắt đầu đọc để làm chủ xử lý dữ liệu thời gian hôm nay.