PySpark dan Apache Spark Fundamentals for Data Engineering (dalam bahasa Inggris).

Rekayasa Data bergantung pada pemrosesan dataset yang besar dengan cepat dan dapat diandalkan. Apache Spark adalah alat yang penting untuk pekerjaan ini, namun menguasai sifat terdistribusi dari dataset ini memerlukan dasar konseptual yang kuat. Kursus ini menyediakan dasar dalam PySpark, memungkinkan Anda untuk merancang, membangun, dan mengoptimalkan pipa data yang kuat untuk aplikasi Big Data yang dapat disesuaikan. Apa yang akan kau pelajari: * Mengerti arsitektur Apache Spark dan prinsip-prinsip komputasi terdistribusi. * Master menangani data menggunakan resilient dataset terdistribusi (RDDs) dan kuat DataFrame API di PySpark. * Terapkan Spark SQL untuk manipulasi data kompleks dan teknik tuning kinerja untuk optimalisasi query. * Konfigurasi dan menggunakan Structured Streaming untuk pemrosesan real-time aliran data. * Praktik teknik penyimpanan data modern dan integrasi dengan format umum seperti Parquet dan ORC. * Memanfaatkan fitur MLlib dasar untuk tugas-tugas pembelajaran mesin umum dalam pipa data. Kami mulai dengan terminologi Spark yang penting dan pengaturan lingkungan, bergerak cepat ke pekerjaan praktis dengan RDD dan DataFrames, diikuti dengan penyelaman dalam ke optimasi, streaming, dan perpustakaan khusus. Kursus ini dirancang untuk pemula yang tertarik untuk menjadi Insinyur Data atau Ilmuwan Data yang perlu untuk skala kemampuan pemrosesan data mereka. Tidak ada pengalaman sebelumnya dengan Spark atau sistem terdistribusi yang diperlukan. Mulai membangun fondasi untuk pengolahan data skalabel hari ini.