Podstawy wydajnego przetwarzania danych

Operacje danych na dużą skalę wymagają uporządkowanego podejścia, aby zapewnić niezawodność, wydajność i możliwość odzyskania.Ten kurs zapewnia podstawowe zrozumienie sposobu zarządzania złożonymi zadaniami przetwarzania wsadowego przy użyciu standardowej w branży struktury Spring Batch. Będziesz przechodzić od podstawowej terminologii do budowania wyrafinowanych potoków danych, które mogą obsługiwać miliony rekordów bez ręcznej interwencji.Pod koniec tego kursu będziesz w stanie zaprojektować i wdrożyć zautomatyzowane zadania wsadowe, które są skalowalne i łatwe w utrzymaniu. Czego się nauczysz: - Zrozum podstawową architekturę zadań, kroków i Taskletów - Skonfiguruj ItemReaders i ItemWriters do interakcji z bazami danych MySQL - Ćwicz wdrażanie przetwarzania opartego na kawałkach w celu optymalnego zarządzania pamięcią - Zastosuj nowoczesne funkcje Java, takie jak Records, aby uprościć obiekty transferu danych - Zintegruj wsadowe przepływy pracy z Jenkinsem w celu zautomatyzowanego planowania i wykonywania - Naucz się radzić sobie z awariami za pomocą wbudowanych zasad ponownych prób i pomijania - Zrozum podstawowe techniki monitorowania w celu śledzenia statusu i wydajności pracy Kurs zaczyna się od podstawowych definicji i cyklu życia partii, zanim przeprowadzi Cię przez praktyczną konfigurację przepływów pracy i automatyzacji opartych na bazie danych.Ten program został stworzony specjalnie dla początkujących i programistów przechodzących na inżynierię danych backendowych; nie jest konieczne wcześniejsze doświadczenie w przetwarzaniu wsadowym. Zacznij budować niezawodne systemy przetwarzania danych już dziś.