Veri Mühendisliği: Spark ve Airflow ile Yerel Yığın Kurulumu

Veri mühendisliğinde ustalaşmak, veri ambarları, işlemciler ve orkestratörler gibi farklı araçları tek bir tutarlı, üretime hazır boru hattında birleştirmeyi anlamayı gerektirir. Bu kurs, işlevsel bir veri platformunu sıfırdan inşa etmek ve yönetmek için gerekli pratik, uygulamalı bilgiyi sağlar. Bu kursun sonunda, yerel bir küme ortamı kurmanın ve profesyonel veri ekipleri tarafından kullanılan temel veri katmanlama stratejisini (RAW, STG, CORE) uygulamanın pratik adımlarında ustalaşacaksınız. Neler öğreneceksiniz: * Spark, Airflow, Postgres ve Jupyter dahil olmak üzere temel veri mühendisliği araçlarının mimarisini ve işlevini öğrenin. * Tekrarlanabilir yığın kurulumu için konteynerleştirme kavramlarını kullanarak birleşik bir yerel geliştirme ortamı yapılandırın. * Verileri ara (STG) ve nihai (CORE) katmanlara yapılandırmak için Spark kullanarak veri dönüştürme mantığını uygulayın. * Güvenilir, zamanlanmış yürütmeyi sağlamak için Airflow kullanarak karmaşık veri iş akışlarını düzenlemeyi uygulayın. * Boru hattı içinde temel veri kalitesi ve yönetişim kontrollerini anlayın ve uygulayın. * İlişkisel bir veri ambarında (Postgres) analitik tablolar tasarlayın ve doldurun. Bu kurs, temel kavramlar ve tanımlarla başlar, ardından kümeyi kurma ve giderek karmaşıklaşan veri alımı ve dönüştürme alıştırmalarını yürütme konusunda size adım adım rehberlik eder. Materyal, pratik becerilerinizi geliştirmek için yazılı açıklamaları ve kod parçacıklarını okumaya ve uygulamaya odaklanır. Bu kurs, mutlak yeni başlayanlar veya veri mühendisliği rolüne geçmek isteyen geliştiriciler için mükemmeldir. Bu belirli araçlarla ilgili önceden deneyim gerekmez. Temel veri mühendisliği becerilerinizi bugün geliştirmeye başlayın.