Pobieranie danych w skali petabajtowej za pomocą usługi Azure Data Factory

Efektywne przenoszenie ogromnych ilości danych wymaga solidnych narzędzi do orkiestracji chmury i strategicznego projektowania potoków. W tym kursie dowiesz się, jak tworzyć odporne potoki o wysokiej przepustowości, aby pobierać dane w skali petabajtowej za pomocą usługi Azure Data Factory. Przejdziesz od zrozumienia podstawowych koncepcji ETL do projektowania przepływów pracy w zakresie pobierania danych klasy korporacyjnej, które obsługują ogromną skalę, minimalizują koszty i zapewniają integralność danych. Czego się nauczysz: - Zrozum podstawowe koncepcje pobierania danych, kluczową terminologię i architekturę Azure Data Factory. - Skonfiguruj samodzielnie hostowane środowiska integracji, aby bezpiecznie uzyskać dostęp do lokalnych i chmurowych źródeł danych. - Zaprojektuj działania kopiowania o wysokiej przepustowości przy użyciu strategii kopiowania równoległego, przygotowywania i partycjonowania. - Optymalizuj wydajność rurociągu i zarządzaj kosztami zużycia podczas przenoszenia danych na dużą skalę. - Wdrażaj nowoczesne monitorowanie, rejestrowanie alertów i solidne wzorce obsługi błędów dla niezawodności przedsiębiorstwa. - Zintegruj rurociągi pobierania z nowoczesnymi formatami danych, takimi jak Parquet i Delta Lake. Zaczniesz od podstawowych definicji i pojęć dotyczących danych w chmurze, zanim zapoznasz się z projektowaniem potoków, technikami dostrajania wydajności i najlepszymi praktykami bezpieczeństwa. Lekcje pisemne prowadzą krok po kroku przez koncepcyjne architektury i strategie konfiguracji. Ten kurs tekstowy jest przeznaczony dla początkujących inżynierów danych, administratorów baz danych i początkujący chmury, którzy chcą opanować orkiestrację danych na dużą skalę. Nie jest wymagane wcześniejsze doświadczenie z usługą Azure Data Factory. Zacznij czytać już dziś, aby budować skalowalne, gotowe do produkcji potoki danych.