Apache Spark Essentials per la pratica dell'ingegneria dei dati

Questo corso guida gli aspiranti ingegneri dei dati attraverso i principi fondamentali di Apache Spark, consentendo di progettare e implementare pipeline di dati pratici. Inizierai comprendendo la terminologia essenziale, l'architettura Spark e i modelli di esecuzione del cluster prima di lavorare con scenari pratici di elaborazione dei dati.Cosa imparerai:Comprendere i concetti di base di Apache Spark, i driver di esekuzione e l' architettura del cluster distribuito. Elabora set di dati strutturati e semistrutturati con PySpark DataFrames e Spark SQL, esegui trasformazioni e aggregazioni di dati scalabili e join di set di data complessi. Esplora i moderni modelli di storage lakehouse utilizzando formati come Delta Lake per una gestione dei dati affidabile. Configurare i flussi di lavoro di elaborazione batch fondamentali e i fondamenti dello streaming strutturato.Praticare i modelli di ingegneria dei dati attraverso spiegazioni scritte passo-passo ed esempi di codice. Il corso inizia con definizioni essenziali e principi fondamentali prima di passare a compiti di analisi dei dati realistici. Progettato per principianti e aspiranti professionisti dei dati, questo corso richiede una familiarità di base con Python ma nessuna esperienza precedente con Spark.