AWS 上の .NET と S3 を使用したデータレイクアーキテクチャ

大規模なデータセットの管理には、標準的なデータベース以上のものが必要です。堅牢なデータレイクアーキテクチャが必要です。このコースでは、さまざまなクラウドサービスが連携してデータを効率的に保存、変換、分析する方法を理解するための明確な道筋を提供します。 基本的なストレージの理解から、ローカルソースから構造化された検索可能なクラウド環境に情報を移動する完全なデータパイプラインの実装へと移行します。サーバーレスコンポーネントに焦点を当てることで、コストを低く抑えながら自動的にスケーリングするシステムを構築する方法を学びます。 学習内容: - データレイクアーキテクチャの基本原則とクラウドストレージの基本を理解する。 - 信頼性の高いリアルタイムデータ取り込みのために S3 バケットと Kinesis Data Firehose を設定する。 - 自動データカタログ作成とスキーマ検出のために AWS Glue をマスターする。 - サーバーを管理せずに Athena を使用して標準 SQL で大規模データセットをクエリする。 - 最新の C# パターンを使用してプログラムでクラウドサービスと対話するために .NET 用 AWS SDK を実装する。 - ストレージコストを最適化し、クエリパフォーマンスを向上させるために Parquet ファイルフォーマットを適用する。 - ローカル SQL データベースからクラウドベースの RDS 環境にデータを移動する練習をする。 コースは、基本的な用語とサービス定義から始まり、データ移動と変換のロジックに進みます。実践的な実装シナリオとコードベースの例を通じて、ローカルデータベースとクラウドネイティブ分析の間のギャップを埋めます。 このコースは、クラウドデータエンジニアリングを探求したいと考えている、C# の基本的な理解を持つ初心者開発者およびデータ愛好家向けに設計されています。開始するためにクラウドの経験は必要ありません。 今日からクラウドベースのデータエンジニアリングの基礎知識を構築しましょう。