Inżynieria danych: konfiguracja stosu lokalnego za pomocą Spark i Airflow

Opanowanie inżynierii danych wymaga zrozumienia, jak łączyć różne narzędzia - takie jak hurtownie danych, procesory i orkiestratory - w jeden spójny, gotowy do produkcji rurociąg.Ten kurs zapewnia praktyczną, praktyczna wiedzę niezbędną do budowania i zarządzania funkcjonującą platformą danych od podstaw. Pod koniec tego kursu opanujesz praktyczne kroki związane z tworzeniem lokalnego środowiska klastra i wdrażaniem podstawowej strategii warstwowania danych (RAW, STG, CORE) używanej przez profesjonalne zespoły danych. Czego się nauczysz: * Poznaj architekturę i funkcję podstawowych narzędzi inżynierii danych, w tym Spark, Airflow, Postgres i Jupyter. * Skonfiguruj ujednolicone lokalne środowisko programistyczne przy użyciu koncepcji konteneryzacji dla powtarzalnej konfiguracji stosu. * Zastosuj logikę transformacji danych za pomocą Spark, aby uporządkować dane na warstwy pośrednie (STG) i końcowe (CORE). * Ćwicz orkiestrację złożonych przepływów danych za pomocą Airflow, aby zapewnić niezawodne, zaplanowane wykonanie. * Zrozumieć i wdrożyć podstawowe kontrole jakości danych i zarządzania w rurociągu. * Projektowanie i wypełnianie tabel analitycznych w relacyjnej hurtowni danych (Postgres). Ten kurs zaczyna się od podstawowych pojęć i definicji, a następnie krok po kroku prowadzi Cię przez konfigurację klastra i wykonywanie coraz bardziej złożonych ćwiczeń dotyczących pobierania i transformacji danych.Materiał koncentruje się na czytaniu i stosowaniu pisemnych wyjaśnień i fragmentów kodu w celu budowania praktycznych umiejętności. Ten kurs jest idealny dla absolutnych początkujących lub programistów, którzy chcą przejść do roli inżyniera danych.Nie jest wymagane wcześniejsze doświadczenie z tymi konkretnymi narzędziami. Zacznij budować swoje podstawowe umiejętności inżynierii danych już dziś.