Azure Data Engineering プロジェクトガイド: パイプラインの設計と構築

個別のチュートリアルから、まとまりのある本番環境対応のデータパイプラインを構築することへの移行は、大きな課題となる可能性があります。このコースは、クラウドベースのデータエンジニアリングプロジェクトのライフサイクル全体を順を追って説明することで、そのギャップを埋めます。 基本的なクラウドコンポーネントの理解から、完全に機能するデータパイプラインの設計と実装へと移行します。明確な書面による説明を通じて、業界標準のクラウドサービスと最新のベストプラクティスを使用して、データを安全に取り込み、変換し、保存する方法を学びます。 学習内容: - クラウドデータアーキテクチャ、ストレージ階層、安全なデータ移動の基礎概念を理解する。 - Azure Data Lake Storage Gen 2 と AWS S3 を使用して安全なストレージソリューションを構成する。 - Azure Data Factory とイベント駆動型トリガーを使用して、オーケストレーションされたデータ取り込みパイプラインを構築する。 - PySpark と最新の最適化技術を使用して、Databricks ノートブックで変換ロジックを記述する。 - Key Vault を使用して資格情報とアクセス制御を管理し、エンタープライズグレードのセキュリティプラクティスを実装する。 - Azure SQL Database を使用してリレーショナルターゲットを設計およびロードし、処理された分析データを保存する。 このコースは、パイプラインの設計とアーキテクチャに進む前に、基礎的なクラウドストレージとセキュリティの概念から始まります。その後、取り込み、変換、ストレージのコンポーネントをまとまりのあるテスト済みのソリューションにリンクさせながら、ステップバイステップの実装フェーズを進めます。 このコースは、個々のクラウドサービスが実際のシナリオでどのように統合されるかを知りたい、意欲的なデータエンジニアや初心者向けに設計されています。基本的な用語とコアコンセプトから始めるため、事前のクラウドエンジニアリングの経験は必要ありません。 今日から読み始めて、最初の本番環境対応のデータエンジニアリングパイプラインをゼロから構築しましょう。