PySpark i Apache Spark Podstawy inżynierii danych

Inżynieria danych opiera się na szybkim i niezawodnym przetwarzaniu ogromnych zbiorów danych.Apache Spark jest niezbędnym narzędziem do tej pracy, ale opanowanie jej rozproszonego charakteru wymaga solidnych podstaw koncepcyjnych. Ten kurs zapewnia podstawę w PySpark, umożliwiając projektowanie, budowanie i optymalizację solidnych potoków danych dla skalowalnych aplikacji Big Data. Czego się nauczysz: * Zrozum architekturę Apache Spark i zasady przetwarzania rozproszonego. * Master obsługi danych za pomocą elastycznych rozproszonych zbiorów danych (RDD) i potężnego API DataFrame w PySpark. * Zastosuj Spark SQL do złożonych technik manipulacji danymi i dostrajania wydajności w celu optymalizacji zapytań. * Konfiguruj i używaj Structured Streaming do przetwarzania przepływów danych w czasie rzeczywistym. * Ćwicz nowoczesne techniki przechowywania danych i integrację z popularnymi formatami, takimi jak Parquet i ORC. * Wykorzystaj podstawowe funkcje MLlib do typowych zadań uczenia maszynowego w potokach danych. Zaczynamy od podstawowej terminologii i konfiguracji środowiska Spark, szybko przechodząc do praktycznej pracy z RDD i DataFrames, a następnie głęboko zanurzając się w optymalizację, strumieniowanie i specjalistyczne biblioteki. Ten kurs jest przeznaczony dla absolutnie początkujących, którzy chcą zostać inżynierami danych lub naukowcami zajmującymi się danymi, którzy muszą skalować swoje możliwości przetwarzania danych.Nie jest wymagane wcześniejsze doświadczenie ze Sparkiem lub systemami rozproszonymi. Zacznij budować podstawy skalowalnego przetwarzania danych już dziś.