Обнаружение мошенничества в реальном времени с помощью Spark, Kafka и Cassandra

Финансовые учреждения ежегодно теряют миллиарды долларов из-за мошеннических транзакций, поэтому выявление в режиме реального времени является критическим для современных инженеров данных. Создание таких систем требует бесшовного сочетания потокового ввода данных, машинного обучения и надежного хранения данных в базе данных. В этом курсе вы узнаете, как разработать и внедрить полностью функциональный конвейер по обнаружению мошенничества с кредитными картами в реальном времени. Вы перейдете от понимания основных концепций потоковой передачи к настройке и подключению распределенных систем для обработки высокоскоростных данных. Что вы узнаете: - Понять основополагающую архитектуру систем обнаружения мошенничества в реальном времени и потоковых потоков данных. - Ввод и обработка высокопроизводительных потоков транзакций с использованием Spark Structured Streaming и Kafka. - Создание и обучение моделей машинного обучения для классификации с использованием конвейеров Spark ML и алгоритмов Random Forest. - Эффективно хранить и запрашивать обработанные транзакционные данные с использованием интеграции базы данных Cassandra. - Оркестр и автоматизировать свои рабочие процессы данных с помощью Airflow для обеспечения надежной, запланированной исполнения. - Применять современные методы управления смещением для достижения точной однократной обработки семантики. Путешествие начинается с основных концепций потоковых архитектур, тем Kafka и сред Spark. Затем вы пройдете поэтапные письменные объяснения по реализации предварительной обработки данных, обучения модели, хранения базы данных и организации рабочего процесса. Этот курс предназначен для начинающих инженеров данных, разработчиков программного обеспечения и специалистов по базам данных. Не требуется предыдущий опыт работы со Spark или Kafka, так как мы начнем с абсолютной основы. Начните читать сегодня, чтобы построить свой первый потоковый конвейер, готовый к производству.