Przewodnik po projekcie inżynierii danych na platformie Azure: projektowanie i tworzenie potoków

Przejście z izolowanych samouczków do budowania spójnego, gotowego do produkcji potoku danych może być poważnym wyzwaniem.Ten kurs wypełnia tę lukę, przeprowadzając Cię przez cały cykl życia projektu inżynierii danych w chmurze. Przejdziesz od zrozumienia podstawowych komponentów chmury do architektury i wdrożenia w pełni funkcjonalnego potoku danych.Dzięki jasnym pisemnym wyjaśnieniom dowiesz się, jak bezpiecznie pobierać, przekształcać i przechowywać dane przy użyciu standardowych usług chmurowych i nowoczesnych najlepszych praktyk. Czego się nauczysz: - Zrozum podstawowe koncepcje architektury danych w chmurze, warstw pamięci masowej i bezpiecznego przesyłania danych. - Skonfiguruj bezpieczne rozwiązania pamięci masowej za pomocą Azure Data Lake Storage Gen 2 i AWS S3. - Twórz zorganizowane potoki pobierania danych za pomocą usługi Azure Data Factory i wyzwalaczy sterowanych zdarzeniami. - Napisz logikę transformacji w notebookach Databricks za pomocą PySpark i nowoczesnych technik optymalizacji. - Wdrażaj praktyki bezpieczeństwa klasy korporacyjnej za pomocą Key Vault do zarządzania poświadczeniami i kontrolami dostępu. - Zaprojektuj i załaduj relacyjne cele za pomocą Azure SQL Database do przechowywania przetworzonych danych analitycznych. Kurs rozpoczyna się od podstawowych koncepcji przechowywania i bezpieczeństwa w chmurze, a następnie przechodzi do projektowania i architektury rurociągu.Następnie przejdziesz krok po kroku przez fazy wdrażania, łącząc elementy pobierania, transformacji i przechowywane w spójnym, przetestowanym rozwiązaniu. Ten kurs jest przeznaczony dla początkujących inżynierów danych i początkujący, którzy chcą zobaczyć, jak poszczególne usługi w chmurze integrują się w rzeczywistym scenariuszu.Nie jest wymagane wcześniejsze doświadczenie w inżynierii chmury, ponieważ zaczynamy od podstawowej terminologii i podstawowych pojęć. Zacznij czytać już dziś, aby zbudować swój pierwszy potokowy inżynier danych od podstaw.