Engenharia de dados: configuração de pilha local com Spark e Airflow

Dominar a engenharia de dados requer compreender como combinar ferramentas diferentes, como armazéns de dados, processadores e orquestradores, em um pipeline coeso e pronto para produção.Este curso fornece o conhecimento prático e prático necessário para construir e gerenciar uma plataforma de dados funcional desde o início. Até o final deste curso, você dominará as etapas práticas de configuração de um ambiente de cluster local e implementará a estratégia fundamental de camadas de dados (RAW, STG, CORE) usada por equipes de dados profissionais. O que você vai aprender: * Aprenda a arquitetura e a função das principais ferramentas de engenharia de dados, incluindo Spark, Airflow, Postgres e Jupyter. * Configurar um ambiente de desenvolvimento local unificado usando conceitos de containerização para configuração de pilha reproduzível. * Aplique a lógica de transformação de dados usando o Spark para estruturar dados em camadas intermediárias (STG) e finais (CORE). * Pratique a orquestração de fluxos de trabalho de dados complexos usando o Airflow para garantir uma execução confiável e agendada. * Entenda e implemente verificações de qualidade e governança de dados fundamentais dentro do pipeline. * Projetar e preencher tabelas analíticas em um armazém de dados relacional (Postgres). Este curso começa com conceitos e definições fundamentais, depois orienta você passo a passo através da configuração do cluster e execução de ingestão de dados cada vez mais complexos e exercícios de transformação.O material se concentra na leitura e aplicação de explicações escritas e trechos de código para construir suas habilidades práticas. Este curso é perfeito para iniciantes ou desenvolvedores que procuram fazer a transição para um papel de engenharia de dados.Não é necessária experiência prévia com essas ferramentas específicas. Comece a desenvolver suas habilidades essenciais de engenharia de dados hoje.