Fondamentaux du Big Data, Apache Spark et Systèmes Distribués

Le traitement de jeux de données massifs nécessite des architectures spécialisées et des paradigmes de calcul distribué modernes. Ce cours présente les principes fondamentaux du Big Data pour vous aider à comprendre le traitement distribué et les pipelines d'ingénierie de données modernes. Vous commencerez par la terminologie essentielle, en apprenant les caractéristiques du Big Data, les bases de données relationnelles par rapport aux solutions de stockage NoSQL, et les systèmes de fichiers distribués comme HDFS. À partir de là, vous explorerez Hadoop MapReduce et Apache Spark, y compris le parallélisme Spark, les modèles d'exécution et les flux de transformation de données. Dans ce cours, vous allez : Apprendre les concepts fondamentaux du Big Data et les architectures de systèmes distribués. Comparer les bases de données relationnelles aux paradigmes NoSQL pour sélectionner des solutions de stockage appropriées. Comprendre l'écosystème Hadoop, les opérations HDFS et le traitement MapReduce. Appliquer les principes d'Apache Spark, les DataFrames et les techniques de calcul parallèle. Configurer des flux ETL et ELT efficaces pour le traitement continu des données. Explorer les tendances modernes de gestion des données, y compris les data lakehouses cloud et les concepts de stockage vectoriel. Le programme commence par la terminologie fondamentale avant de passer aux modèles d'architecture pratiques. Ce cours est conçu pour les débutants et les spécialistes des données en herbe sans expérience préalable en calcul distribué. Lisez les leçons pour construire une base solide en ingénierie moderne du Big Data.