Data-engineering: lokale stack-instelling met Spark en Airflow

Mastering data engineering vereist inzicht in hoe verschillende tools, zoals datawarehouses, processors en orchestrators, kunnen worden gecombineerd tot één coherente, productieklare pijplijn.Deze cursus biedt de praktische, hands-on kennis die nodig is om een functionerend dataplatform vanaf de grond op te bouwen en te beheren. Aan het einde van deze cursus beheerst u de praktische stappen voor het opzetten van een lokale clusteromgeving en het implementeren van de fundamentele data layering-strategie (RAW, STG, CORE) die wordt gebruikt door professionele datateams. Wat je leert: * Leer de architectuur en functie van kerngegevens engineering tools, waaronder Spark, Airflow, Postgres en Jupyter. * Configureer een uniforme lokale ontwikkelingsomgeving met behulp van containerisatieconcepten voor reproduceerbare stack-instellingen. * Pas datatransformatielogica toe met behulp van Spark om data te structureren in tussenliggende (STG) en definitieve (CORE) lagen. * Oefen het orkestreren van complexe dataworkflows met Airflow om betrouwbare, geplande uitvoering te garanderen. * Begrijp en implementeer fundamentele gegevenskwaliteit en governance controles binnen de pijplijn. * Ontwerp en vul analytische tabellen in een relationeel datawarehouse (Postgres). Deze cursus begint met fundamentele concepten en definities, en leidt u vervolgens stap voor stap door het opzetten van het cluster en het uitvoeren van steeds complexere gegevensinname- en transformatieoefeningen.Het materiaal richt zich op het lezen en toepassen van geschreven uitleg en codefragmenten om uw praktische vaardigheden op te bouwen. Deze cursus is perfect voor absolute beginners of ontwikkelaars die de overgang willen maken naar een data engineering-rol.Ervaring met deze specifieke tools is niet vereist. Begin vandaag nog met het opbouwen van je essentiële data engineering vaardigheden.