Apache Spark Essentials dla praktyki inżynierii danych

Ten kurs prowadzi aspirujących inżynierów danych przez podstawowe zasady Apache Spark, umożliwiając projektowanie i wdrażanie praktycznych potoków danych. Zaczniesz od zrozumienia podstawowej terminologii, architektury Spark i modeli wykonywania klastrów przed pracą z praktycznymi scenariuszami przetwarzania danych.Czego się nauczysz:Zrozum podstawowe koncepcje Apache Spark, sterowniki wykonawcze i architekturę klastra rozproszonego. Przetwarzaj ustrukturyzowane i półustrukturyzowany zbiory danych za pomocą PySpark DataFrames i Spark SQL. Wykonuj skalowalne transformacje danych, agregacje i złożone połączenia zbiorów danych.Odkryj nowoczesne wzorce przechowywania Lakehouse przy użyciu formatów takich jak Delta Lake w celu niezawodnego zarządzania danymi. Skonfiguruj podstawowe przepływy pracy przetwarzania wsadowego i uporządkowane podstawy przesyłania strumieniowego.Praktykuj wzorce inżynierii danych za pomocą pisemnych wyjaśnień krok po kroku i przykładów kodu.Kurs zaczyna się od podstawowych definicji i podstawowych zasad, zanim przejdzie do realistycznych zadań inżynieryjnych. Zaprojektowany dla początkujących i aspirujących profesjonalistów zajmujących się danymi, ten kurs wymaga podstawowej znajomości Pythona, ale bez wcześniejszego doświadczenia w Spark.