دليل مشروع هندسة بيانات Azure: تصميم وبناء خطوط الأنابيب

يمكن أن يمثل الانتقال من البرامج التعليمية المنفصلة إلى بناء خط أنابيب بيانات متماسك وجاهز للإنتاج تحديًا كبيرًا. يسد هذا المساق هذه الفجوة من خلال إرشادك خلال دورة الحياة الكاملة لمشروع هندسة بيانات قائم على السحابة. ستنتقل من فهم مكونات السحابة الأساسية إلى تصميم وتنفيذ خط أنابيب بيانات يعمل بكامل طاقته. من خلال الشروحات المكتوبة الواضحة، ستتعلم كيفية استيعاب البيانات وتحويلها وتخزينها بشكل آمن باستخدام خدمات السحابة القياسية في الصناعة وأفضل الممارسات الحديثة. ما ستتعلمه: - فهم المفاهيم الأساسية لهندسة بيانات السحابة، ومستويات التخزين، ونقل البيانات الآمن. - تكوين حلول تخزين آمنة باستخدام Azure Data Lake Storage Gen 2 و AWS S3. - بناء خطوط أنابيب استيعاب البيانات المنسقة باستخدام Azure Data Factory والمشغلات القائمة على الأحداث. - كتابة منطق التحويل في دفاتر ملاحظات Databricks باستخدام PySpark وتقنيات التحسين الحديثة. - تطبيق ممارسات الأمان على مستوى المؤسسة باستخدام Key Vault لإدارة بيانات الاعتماد وعناصر التحكم في الوصول. - تصميم وتحميل أهداف علائقية باستخدام Azure SQL Database لتخزين البيانات التحليلية المعالجة. يبدأ المساق بمفاهيم التخزين السحابي والأمان الأساسية قبل الانتقال إلى تصميم وهندسة خط الأنابيب. ستنتقل بعد ذلك عبر مراحل التنفيذ خطوة بخطوة، لربط مكونات الاستيعاب والتحويل والتخزين في حل متماسك ومختبر. تم تصميم هذا المساق لمهندسي البيانات الطموحين والمبتدئين الذين يرغبون في رؤية كيفية تكامل خدمات السحابة الفردية في سيناريو واقعي. لا تتطلب خبرة سابقة في هندسة السحابة، حيث نبدأ بالمصطلحات الأساسية والمفاهيم الجوهرية. ابدأ القراءة اليوم لبناء أول خط أنابيب لهندسة البيانات على مستوى الإنتاج من الصفر.