Podstawowa inżynieria danych: budowanie zautomatyzowanych rurociągów ELT

Dane są siłą napędową nowoczesnego biznesu, ale surowe dane są bezużyteczne bez odpowiedniej infrastruktury do ich przenoszenia i wydajnego przetwarzania.Ten kurs zapewnia solidne, praktyczne podstawy w inżynierii danych, umożliwiając projektowanie, budowanie i utrzymywanie solidnych zautomatyzowanych potoków danych niezbędnych do nowoczesnej analizy i raportowania danych. Czego się nauczysz: * Zrozumienie podstawowych pojęć hurtowni danych (DWH) i jezior danych, w tym wspólnych wzorców architektonicznych. * Konfiguruj i konteneryzuj lokalną infrastrukturę danych za pomocą Dockera dla odtwarzalnych środowisk programistycznych. * Zastosuj Python i PySpark do wydajnego przetwarzania wsadowego i transformacji danych na dużą skalę. * Projektowanie i organizowanie złożonych przepływów pracy przy użyciu Apache Airflow do planowania i monitorowania zadań ETL / ELT. * Wdrożyć kontrole jakości danych i podstawowe wzorce obserwacji danych w swoich rurociągach. * Ćwicz budowanie modułowych i testowanych przepływów pracy ELT przy użyciu nowoczesnych ram transformacji danych, takich jak DBT. Kurs zaczyna się od podstawowych koncepcji bazy danych i zasad modelowania danych, zanim przejdzie do praktycznej budowy rurociągu przy użyciu środowisk kontenerowych.Będziesz przechodzić przez przetwarzanie wsadowe, podstawy pobierania strumieni i orkiestrację przepływu pracy. Ten kurs jest przeznaczony dla absolutnych początkujących zainteresowanych inżynierią danych, a także analityków danych lub programistów, którzy chcą przejść do budowania infrastruktury danych.Nie jest wymagane wcześniejsze doświadczenie w inżynierii danych.Zacznij budować infrastrukturę, która napędza decyzje oparte na danych już dziś.