Fundamentos de PySpark y Apache Spark para Ingeniería de Datos

La ingeniería de datos se basa en el procesamiento de conjuntos de datos masivos de forma rápida y fiable.Apache Spark es la herramienta esencial para este trabajo, pero dominar su naturaleza distribuida requiere una base conceptual sólida. Este curso proporciona esa base en PySpark, lo que le permite diseñar, construir y optimizar tuberías de datos robustas para aplicaciones de Big Data escalables. Lo que aprenderás: * Comprender la arquitectura de Apache Spark y los principios de la computación distribuida. * Master manejo de datos utilizando conjuntos de datos distribuidos resistentes (RDD) y el poderoso DataFrame API en PySpark. * Aplicar Spark SQL para la manipulación de datos complejos y técnicas de ajuste de rendimiento para la optimización de consultas. * Configurar y utilizar Structured Streaming para procesar flujos de datos en tiempo real. * Practicar técnicas modernas de almacenamiento de datos e integración con formatos comunes como Parquet y ORC. * Utilizar las características básicas de MLlib para tareas comunes de aprendizaje automático dentro de las tuberías de datos. Comenzamos con la terminología esencial de Spark y la configuración del entorno, pasando rápidamente al trabajo práctico con RDD y DataFrames, seguido de inmersiones profundas en la optimización, la transmisión y las bibliotecas especializadas. Este curso está diseñado para principiantes absolutos interesados en convertirse en ingenieros de datos o científicos de datos que necesitan escalar sus capacidades de procesamiento de datos.No se requiere experiencia previa con Spark o sistemas distribuidos. Comience a construir sus cimientos para el procesamiento de datos escalable hoy mismo.