PySpark và Apache Spark Cơ bản cho Kỹ thuật dữ liệu

Apache Spark là công cụ thiết yếu cho công việc này, nhưng để làm chủ bản chất phân phối của nó, bạn cần có một nền tảng khái niệm vững chắc. Lớp học này cung cấp nền tảng đó trong PySpark, cho phép bạn thiết kế, xây dựng và tối ưu hóa các đường ống dữ liệu mạnh mẽ cho các ứng dụng Big Data có thể mở rộng. Bạn sẽ học được: * Hiểu kiến trúc của Apache Spark và các nguyên tắc của tính toán phân tán. * Master xử lý dữ liệu sử dụng các tập dữ kiện phân phối bền vững (RDD) và API DataFrame mạnh mẽ trong PySpark. * Apply Spark SQL cho các kỹ thuật thao tác dữ liệu phức tạp và hiệu suất điều chỉnh cho tối ưu hóa truy vấn. * Cấu hình và sử dụng Structured Streaming để xử lý dòng dữ liệu thời gian thực. * Thực hành kỹ thuật lưu trữ dữ liệu hiện đại và tích hợp với các định dạng phổ biến như Parquet và ORC. * Sử dụng các tính năng MLlib cơ bản cho các nhiệm vụ học máy phổ biến trong các đường ống dữ liệu. Chúng tôi bắt đầu với thuật ngữ Spark và thiết lập môi trường, chuyển nhanh chóng vào công việc thực tế với RDD và DataFrames, tiếp theo là các lặn sâu vào tối ưu hóa, truyền phát và thư viện chuyên dụng. Chương trình này được thiết kế cho những người mới bắt đầu quan tâm đến việc trở thành kỹ sư dữ liệu hoặc nhà khoa học dữ kiện cần nâng cao khả năng xử lý dữ liêu của họ. Không cần kinh nghiệm trước đó với Spark hoặc hệ thống phân tán. Bắt đầu xây dựng nền tảng cho việc xử lý dữ liệu có thể mở rộng ngay hôm nay.