Fondamentaux d'Apache Beam : Katas pratiques de traitement de données

Le traitement des données peut être complexe, surtout lorsqu'il s'agit de données batch et de streaming. Apache Beam offre un modèle unifié et puissant pour simplifier ce défi. Ce cours vous guidera à travers les concepts clés d'Apache Beam, vous permettant de concevoir, construire et tester des pipelines de données efficaces pour diverses applications. À la fin, vous serez en mesure d'appliquer en toute confiance les principes de Beam à des scénarios réels. Ce que vous apprendrez : * Comprendre les principes fondamentaux d'Apache Beam, son modèle de programmation et les concepts clés tels que PCollections et Transforms. * Apprendre à construire des pipelines de données batch et de streaming à l'aide de sources et de puits de données courants. * Appliquer des transformations de données essentielles pour nettoyer, agréger et enrichir les données dans vos pipelines. * S'entraîner à construire des solutions pratiques de traitement de données grâce à des exercices de codage pratiques. * Configurer des options de pipeline de base et exécuter des pipelines Beam à l'aide de runners locaux. * Développer des stratégies pour tester les pipelines Beam afin de garantir l'intégrité et l'exactitude des données. * Explorer comment le modèle unifié gère de manière transparente les flux de données bornés et illimités. Le cours commence par une introduction à l'architecture de Beam et à ses composants fondamentaux, puis progresse à travers des exemples pratiques de manipulation de données, aboutissant à des exercices qui consolident votre compréhension de la construction et des tests de pipelines. Ce cours est conçu pour les débutants ayant des connaissances de base en programmation qui cherchent à entrer dans le monde de l'ingénierie des données et du traitement des données à grande échelle avec Apache Beam. Aucune expérience préalable avec Beam ou les systèmes distribués n'est requise. Commencez votre voyage pour devenir compétent en Apache Beam et construisez des solutions de données robustes dès aujourd'hui.