Podstawy przetwarzania danych bez serwera z Dataflow

Nowoczesna inżynieria danych wymaga przetwarzania ogromnych zbiorów danych bez obciążeń związanych z zarządzaniem złożoną infrastrukturą serwerową. Przetwarzanie danych bez serwera rozwiązuje to wyzwanie, oddzielając obliczenia od pamięci masowej. Dzięki temu można skupić się wyłącznie na logice potoku. Ten kurs wprowadza Cię w podstawowe zasady inżynierii danych bezserwerowych za pomocą Apache Beam i Dataflow.Będziesz przechodzić od zrozumienia podstawowej terminologii przetwarzania danych do pisania, testowania i uruchamiania własnych potoków bezserwerów. Czego się nauczysz: - Zrozum podstawowe koncepcje przetwarzania danych bez serwera i jak Dataflow wykonuje potoki. - Napisz potoki Apache Beam przy użyciu nowoczesnych praktyk programistycznych, w tym podpowiedzi typu i schematów strukturalnych. - Zastosuj logikę transformacji do manipulowania, filtrowania i agregowania danych wsadowych i strumieniowych. - Wykorzystaj ramy Beam Portability, aby zrozumieć, jak rurociągi działają w różnych zapleczach wykonawczych. - Ćwicz pisanie testów jednostkowych dla potoków danych, aby zapewnić niezawodność przed wdrożeniem. Zaczniesz od podstawowych definicji i architektury potoków bezserwerowych, zanim przejdziesz do szczegółowych pisemnych wyjaśnień dotyczących pisania kodu potoku, wykonywania go lokalnie i wdrażania go w pełni zarządzanym środowisku chmurowym. Ten kurs jest przeznaczony dla początkujących inżynierów danych, programistów i administratorów baz danych, którzy są nowi w przetwarzaniu danych bez serwera i chcą jasnej, koncepcyjnej podstawy.Nie jest wymagane wcześniejsze doświadczenie z Apache Beam lub Dataflow. Zacznij czytać już dziś, aby zbudować podstawy nowoczesnej inżynierii danych bezserwerowych.