Podstawy ETL i ELT: Budowanie potoków danych

Przenoszenie danych stanowi podstawę analityki i uczenia maszynowego. Jednak bez odpowiednich podstaw tworzenie niezawodnych potoków może być trudne. Zacznij opanowywać podstawowe techniki gromadzenia i przygotowywania danych do użytku. Pod koniec tego kursu zrozumiesz mechanikę ETL i ELT, umożliwiając zaprojektowanie i wdrożenie solidnych przepływów pracy, które zapewniają jakość i dostępność danych. Czego się nauczysz: * Zrozumienie podstawowych pojęć i historycznych różnic między ETL (Transform before Load) a nowoczesnym ELT (Load before Transform). * Zastosuj podstawowe techniki ekstrakcji danych z różnych popularnych źródeł danych, w tym plików i interfejsów API. * Ćwicz definiowanie logiki transformacji w celu czyszczenia, normalizacji i agregacji danych zgodnie z regułami biznesowymi. * Skonfiguruj podstawowe mechanizmy ładowania przekształconych danych do miejsc docelowych, takich jak hurtownie danych lub bazy danych. * Wdrożyć podstawowe kontrole jakości danych i etapy walidacji w ramach przepływów pracy rurociągu. * Dowiedz się podstawowych pojęć orkiestracji i harmonogramowania rurociągów, aby niezawodnie zautomatyzować przepływy danych. Kurs rozpoczyna się od zdefiniowania kluczowej terminologii i koncepcji architektury danych, a następnie przechodzi do praktycznych kroków w celu sekwencyjnego budowania etapów Extract, Transform i Load.Skupiamy się na pisemnych wyjaśnieniach i praktycznych przykładach kodu, aby zilustrować podstawową logikę potoku. Ten kurs jest przeznaczony dla absolutnych początkujących w inżynierii danych, analizie danych lub tworzeniu oprogramowania zainteresowanych infrastrukturą danych.Nie jest wymagane wcześniejsze doświadczenie z narzędziami ETL lub hurtownią danych. Zacznij budować swoją wiedzę na temat infrastruktury danych już dziś.