Inżynieria danych z Apache Beam i Python Pipelines

W nowoczesnym krajobrazie danych zdolność do efektywnego przetwarzania ogromnych strumieni informacji jest kluczową umiejętnością dla każdego specjalisty od danych.Ten kurs stanowi kompleksowe wprowadzenie do budowania ujednoliconych potoków przetwarzających dane, które pozostają przenośne w różnych silnikach wykonawczych. Będziesz rozwijać się od zrozumienia podstawowych koncepcji przetwarzania rozproszonego do budowania funkcjonalnych potoków, które obsługują złożone transformacje danych.Pod koniec tego kursu będziesz w stanie zaprojektować solidne przepływy pracy, które zarządzają zarówno historycznymi danymi wsadowymi, jak i informacjami strumieniowymi w czasie rzeczywistym. Czego się nauczysz: - Zapoznaj się z podstawową architekturą Apache Beam i ujednoliconym modelem danych wsadowych i strumieniowych. - Zastosuj niezbędne transformacje, aby wyczyścić, filtrować i agregować złożone zbiory danych za pomocą Pythona. - Wdrażaj zaawansowane funkcje rurociągu, w tym wejścia boczne, wyjścia boku i transformacje kompozytowe. - Skonfiguruj strategie okien i wyzwalacze, aby skutecznie obsługiwać spóźnione dane w strumieniach czasu rzeczywistego. - Wdrażaj skalowalne potoki i zarządzaj nimi za pomocą Cloud Dataflow do przetwarzania klasy korporacyjnej. - Zintegruj Beam SQL, aby wykonywać relacyjne zapytania na rozproszonych strumieniach danych. - Ćwicz nowoczesne podstawy obserwacji danych, aby monitorować stan rurociągu i zapewnić jakość danych. Program nauczania zaczyna się od podstawowej terminologii i wizji Beam, zanim przejdzie do praktycznej konstrukcji potoku, obejmującej wszystko, od podstawowych operacji I / O po złożoną logikę przesyłania strumieniowego.Każda sekcja koncentruje się na pisemnych wyjaśnieniach i przykładach opartych na kodzie, aby wzmocnić zrozumienie obliczeń rozproszonych. Ten kurs jest przeznaczony dla początkujących inżynierów danych, programistów i analityków, którzy są nowi w Apache Beam i chcą zbudować solidne podstawy w orkiestracji dużych danych.Nie jest wymagane wcześniejsze doświadczenie z systemami rozproszonymi. Zacznij budować skalowalne rozwiązania danych już dziś, opanowując podstawy Apache Beam.