PySpark en Apache Spark Fundamentals voor Data Engineering

Data Engineering is afhankelijk van het snel en betrouwbaar verwerken van enorme datasets.Apache Spark is de essentiële tool voor dit werk, maar het beheersen van het gedistribueerde karakter vereist een solide conceptuele basis. Deze cursus biedt die basis in PySpark, zodat u robuuste datapijplijnen kunt ontwerpen, bouwen en optimaliseren voor schaalbare Big Data-toepassingen. Wat je leert: * Begrijp de architectuur van Apache Spark en de principes van gedistribueerde computing. * Master handling data met behulp van veerkrachtige gedistribueerde datasets (RDD's) en de krachtige DataFrame API in PySpark. * Pas Spark SQL toe voor complexe gegevensmanipulatie en prestatie-afstemmingstechnieken voor query-optimalisatie. * Gestructureerde streaming configureren en gebruiken voor het verwerken van realtime gegevensstromen. * Oefen moderne data-opslag technieken en integratie met gangbare formaten zoals Parquet en ORC. * Gebruik basis MLlib-functies voor veelvoorkomende machine learning-taken binnen datapijplijnen. We beginnen met essentiële Spark-terminologie en omgevingsinstellingen, gaan snel over op praktisch werk met RDD's en DataFrames, gevolgd door diepgaande duiken in optimalisatie, streaming en gespecialiseerde bibliotheken. Deze cursus is bedoeld voor absolute beginners die geïnteresseerd zijn in het worden van Data Engineers of Data Scientists die hun gegevensverwerkingsmogelijkheden moeten schalen.Er is geen eerdere ervaring met Spark of gedistribueerde systemen vereist. Begin vandaag nog met het leggen van de basis voor schaalbare gegevensverwerking.