Azure Data Engineering Proje Rehberi: Boru hatları tasarlama ve inşa etme

Tecrit edilmiş derslerden, uyumlu, üretime hazır bir veri boru hattı oluşturmaya geçiş büyük bir mücadele olabilir.Bu kurs, bulut tabanlı veri mühendisliği projesinin tüm yaşam döngüsü boyunca sizi yürüterek bu boşluğu doldurur. Temel bulut bileşenlerini anlamaktan, tam işlevli bir veri boru hattını tasarlamaya ve uygulamaya geçiş yapacaksınız. Açık yazılı açıklamalar yoluyla, endüstri standardı bulut hizmetleri ve modern en iyi uygulamaları kullanarak verileri güvenli bir şekilde nasıl alacağınızı, dönüştüreceğinizi ve depolayacağınızı öğreneceksiniz. Ne öğreneceksin: - Bulut veri mimarisinin, depolama katmanlarının ve güvenli veri hareketinin temel kavramlarını anlayın. - Azure Data Lake Storage Gen 2 ve AWS S3 kullanarak güvenli depolama çözümlerini yapılandır. - Azure Data Factory ve olay tabanlı tetikleyiciler kullanarak orkestralanmış veri tüketimi boru hatları oluşturun. - PySpark ve modern optimizasyon tekniklerini kullanarak Databricks dizüstü bilgisayarlarında dönüşüm mantığını yazın. - Şirket düzeyinde güvenlik uygulamalarını uygulamak için Key Vault kullanarak kimlik ve erişim kontrollerini yönetmek. - İşlenen analitik verileri depolamak için Azure SQL Veritabanı kullanarak ilişkisel hedefleri tasarlayın ve yükleyin. Kurs, boru hattı tasarımı ve mimarisine geçmeden önce temel bulut depolama ve güvenlik kavramlarıyla başlar. Ardından, adım adım uygulama aşamalarını aşarak, alımı, dönüşümü ve depolamayı birbirine bağlı, test edilmiş bir çözüme bağlayabilirsiniz. Bu kurs, bireysel bulut hizmetlerinin gerçek bir senaryoda nasıl entegre edildiğini görmek isteyen umut vadeden veri mühendisleri ve yeni başlayanlar için tasarlanmıştır. Temelli terminoloji ve temel kavramlarla başladığımız için önceden bulut mühendisliği deneyimi gerekmez. İlk üretim seviyesi veri mühendisliği boru hattını sıfırdan inşa etmek için bugün okumaya başlayın.