أسس هندسة البيانات باستخدام Spark و Databricks و Delta Lake

تعتمد الشركات الحديثة على مسارات بيانات قوية لتحويل البيانات الأولية إلى رؤى قابلة للتنفيذ، مما يجعل هندسة البيانات واحدة من أهم المهارات اليوم. تقدم لك هذه الدورة المفاهيم الأساسية لهندسة Lakehouse، مما يمنحك أساسًا متينًا في معالجة البيانات الحديثة. ستنتقل من فهم مفاهيم البيانات الأساسية إلى قراءة وكتابة وتنفيذ مسارات البيانات. من خلال الشروحات المكتوبة الواضحة وأمثلة التعليمات البرمجية المنظمة في Python و Scala، ستتعلم كيفية معالجة مجموعات البيانات واسعة النطاق، وإدارة جداول البيانات الموثوقة، وتطبيق سير عمل البيانات القياسية في الصناعة. ما ستتعلمه: - فهم المبادئ الأساسية لهندسة Databricks Lakehouse والحوسبة الموزعة باستخدام Apache Spark. - بناء مسارات بيانات موثوقة باستخدام Spark SQL و DataFrames و APIs في كل من Python و Scala. - إدارة Delta Tables باستخدام ميزات متقدمة مثل time travel (السفر عبر الزمن)، وسجل الإصدارات، وتطور المخطط (schema evolution). - تحسين أداء الاستعلام باستخدام Delta caching، وإدارة الملفات، وتخطيطات التخزين الحديثة. - تكوين أساسيات حوكمة البيانات وتخزين الملفات باستخدام Unity Catalog volumes. - تطبيق ممارسات اختبار ومراقبة مسارات البيانات لضمان جودة البيانات وموثوقية المسار. تبدأ الرحلة بمصطلحات هندسة البيانات الأساسية وإعداد Spark قبل الانتقال بشكل منهجي عبر تحويلات DataFrame، وتحميل البيانات، وعمليات Delta Lake، وضبط الأداء. ستقرأ شروحات شاملة للتعليمات البرمجية وتتدرب على تمارين مفاهيمية مصممة لتعزيز تعلمك. تم تصميم هذه الدورة لمهندسي البيانات الطموحين، ومسؤولي قواعد البيانات، ومطوري البرمجيات الجدد في تقنيات البيانات الضخمة. لا تتطلب خبرة سابقة في Spark أو Databricks، على الرغم من أن الإلمام الأساسي بـ SQL ومفاهيم البرمجة العامة مفيد. ابدأ في بناء أساسك في هندسة البيانات اليوم.