Processamento de dados sem servidor com Dataflow

A engenharia de dados moderna requer o processamento de conjuntos de dados massivos de forma rápida e confiável, sem a sobrecarga de gerenciar uma infraestrutura de servidor complexa. Você aprenderá a projetar, escrever e implantar pipelines de dados escaláveis que lidam com dados históricos em lote e dados de streaming em tempo real.Ao entender o modelo de programação subjacente do Apache Beam, você fará a transição do manuseio manual de dados para fluxos de trabalho de dados automatizados e de nível de produção. O que você vai aprender: - Entenda os conceitos fundamentais de processamento de dados sem servidor e arquiteturas de pipeline. - Construa pipelines em lote para limpar, transformar e carregar conjuntos de dados históricos em grande escala. - Projete pipelines de streaming para processar feeds de dados em tempo real com janelas e gatilhos. - Escreva código de pipeline reutilizável usando o Apache Beam SDK. - Configurar e monitorar a execução, o dimensionamento e a alocação de recursos do pipeline. - Aplique as melhores práticas para manipulação de erros, depuração e otimização do desempenho do pipeline. O curso começa com definições básicas e os fundamentos do design de pipeline antes de passar para a construção prática de pipelines para cenários de streaming em lote e em tempo real.Você progredirá através de explicações escritas, quebras arquitetônicas e exercícios de código estruturado. Este curso foi projetado para engenheiros de dados iniciantes, analistas e desenvolvedores que desejam aprender fluxos de trabalho de dados sem servidor; não é necessária experiência prévia com o Dataflow.Comece a construir pipelines de dados escaláveis e sem servidor hoje.