Pipelines de dados práticos com o Apache Airflow

Saiba como automatizar e gerenciar processos de dados complexos com o Apache Airflow, a ferramenta padrão do setor para orquestração de fluxo de trabalho. Este curso fornece uma introdução abrangente e baseada em texto para a construção de pipelines de dados confiáveis.Você passará dos conceitos básicos para a aplicação prática, aprendendo a definir, agendar e monitorar seus fluxos de trabalho inteiramente através de código. No final, você terá as habilidades fundamentais para construir pipelines de dados robustos, repetíveis e observáveis para seus próprios projetos. O que você vai aprender: - Entenda os conceitos básicos do Airflow, incluindo DAGs, operadores, tarefas e sua arquitetura subjacente. - Construa seu primeiro pipeline de dados do zero, definindo dependências de tarefas e agendando execuções regulares. - Utilize a moderna API TaskFlow para escrever pipelines de dados limpos, intuitivos e nativos do Python. - Aprenda a usar Hooks e Connections para interagir com segurança com sistemas externos, como bancos de dados e serviços em nuvem. - Pratique passar dados entre tarefas de forma eficaz usando o mecanismo XComs do Airflow. - Defina dependências e linhagens de dados usando recursos modernos como Data-Aware Scheduling e Assets. - Explore diferentes executores de Airflow e entenda os princípios de dimensionamento da orquestração de dados. O curso começa com os princípios fundamentais da orquestração de dados e os principais componentes do Airflow, e você progredirá através de exercícios práticos e escritos para construir e gerenciar pipelines de dados completos, reforçando sua compreensão em cada etapa. Este curso é projetado para iniciantes completos.Não é necessária experiência prévia com o Apache Airflow ou a orquestração de dados, embora uma compreensão básica do Python seja benéfica. Comece a criar pipelines de dados automatizados hoje mesmo.