Масштабируемая обработка данных: системы и алгоритмы

По мере экспоненциального роста массивов данных традиционные инструменты анализа, работающие на одной машине, быстро достигают своих пределов. Чтобы получить полезные выводы из огромных, сложных данных, необходимо понимать распределенные системы и масштабируемые алгоритмы, которые используются в современных платформах данных. Этот курс предоставляет четкое, текстовое введение в мир крупномасштабных манипуляций с данными. Вы перейдете от написания основных сценариев данных к пониманию того, как распределенные базы данных, движки параллельной обработки и современные языки запросов обрабатывают гигабайты и терабайты данных. Вы получите концептуальную основу, необходимую для выбора и применения правильных масштабируемых архитектур для решения реальных аналитических задач. Что вы узнаете: - Понять основные принципы распределенных систем, параллельных баз данных и масштабируемости. - Применять основные алгоритмы обработки данных для сортировки, фильтрации и объединения больших наборов данных. - Сравнить традиционные реляционные базы данных с современными системами хранения NoSQL и ключ-значение. - Изучить современные высокопроизводительные инструменты обработки данных, включая колонковые форматы и современные библиотеки датафреймов. - Анализ модели программирования MapReduce и ее эволюции в современные распределенные вычислительные движки. - Практика оптимизации каналов передачи данных для обеспечения эффективности, отказоустойчивости и экономически эффективной обработки. Вы начнете с изучения основных определений масштаба, хранения и параллельных вычислений, а затем погрузитесь в алгоритмы и системы, которые распределяют рабочие нагрузки между кластерами. Через четкие письменные объяснения и практические примеры кода вы узнаете, как разрабатывать надежные конвейеры, которые эффективно обрабатывают данные в масштабе. Этот курс предназначен для начинающих аналитиков данных, начинающих инженеров данных и разработчиков программного обеспечения, которые хотят масштабировать свои навыки работы с данными. Не требуется предыдущий опыт работы с распределенными системами или высокопроизводительными вычислениями. Начните читать сегодня, чтобы построить прочную основу в масштабируемых системах данных и алгоритмах.