PySpark und Apache Spark Grundlagen für Data Engineering

Data Engineering setzt auf die schnelle und zuverlässige Verarbeitung großer Datensätze. Apache Spark ist das wesentliche Werkzeug für diese Arbeit. Um jedoch die verteilte Natur zu meistern, benötigen Sie eine solide konzeptionelle Grundlage. Dieser Kurs bietet diese Grundlage in PySpark, sodass Sie robuste Datenpipelines für skalierbare Big Data-Anwendungen entwerfen, erstellen und optimieren können. Was Sie lernen werden: * Verstehen Sie die Architektur von Apache Spark und die Prinzipien des verteilten Computings. * Master-Handling-Daten mit robusten verteilten Datensätzen (RDDs) und der leistungsstarken DataFrame-API in PySpark. * Anwenden von Spark SQL für komplexe Datenmanipulationen und Leistungsoptimierungstechniken für die Abfrageoptimierung. * Konfigurieren und verwenden Sie Structured Streaming für die Verarbeitung von Echtzeit-Datenströmen. * Üben Sie moderne Datenspeichertechniken und die Integration mit gängigen Formaten wie Parquet und ORC. * Nutzen Sie grundlegende MLlib-Funktionen für gängige maschinelle Lernaufgaben innerhalb von Datenpipelines. Wir beginnen mit der grundlegenden Spark-Terminologie und der Einrichtung der Umgebung, gehen dann schnell in die praktische Arbeit mit RDDs und DataFrames über und tauchen dann tief in Optimierung, Streaming und spezielle Bibliotheken ein. Dieser Kurs richtet sich an absolute Anfänger, die Dateningenieure oder Datenwissenschaftler werden möchten und ihre Datenverarbeitungsfunktionen skalieren müssen.Es sind keine Vorkenntnisse mit Spark oder verteilten Systemen erforderlich. Bauen Sie noch heute die Grundlage für eine skalierbare Datenverarbeitung auf.