Projektowanie platformy Big Data z użyciem narzędzi z rodziny Apache

O szkoleniu

Praktyczna umiejętność projektowania platformy do przetwarzania dużej ilości danych. Zdobycie wiedzy na temat powszechnie używanych narzędzi typu open-source w Big Data

Dlaczego warto wziąć udział?
  • Warsztatowy charakter zajęć
  • Użycie wielu różnych narzędzi niezbędnych w codziennej pracy z Big Data
  • Ćwiczenia praktyczne odbywają się w środowisku chmury obliczeniowej (Google Cloud Platform)
  • Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest uzupełniana praktycznymi zadaniami
  • Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
Kto powinien wziąć udział?
  • Programiści chcący poznać podstawy Big Data
  • Osoby które chciałby rozszerzyć swoją więdzę na temat narzędzi Big Data

Program szkolenia

Wprowadzenie do świata Big Data

  • Przedstawienie domeny
  • Problemy Big Data - wydajność, skalowalność, dostępność
  • Przegląd typów przetwarzania Big Data
  • Omówienie narzędzi wykorzystywanych w ramach kursu

Programowanie w Scala

  • Zalety programowania funkcyjnego
  • Różnice w stosunku do języka Java
  • Elementy języka wykorzystywane w kontekście Big Data
  • Ćwiczenia praktyczne (case class, companion object, pattern matching, implicit)

Apache Spark

  • Architektura i konfiguracja
  • RDD vs Spark SQL
  • Transformacje i akcje
  • Tworzenie aplikacji w środowisku IDE
  • Uruchamianie zadań
  • Koncepcje partycjonowania i przesyłania (shuffling) danych
  • Catalyst i mechanizmy optymalizacji
  • Integracja z Apache Hadoop

Apache Spark Structured Streaming

  • Podstawy i zastosowanie Spark Structured Streaming
  • Model przetwarzania
  • Projektowanie aplikacji przetwarzającej strumienie danych
  • Znaczniki czasowe i operatory okna
  • Obsługa zdarzeń nieuporządkowanych

Apache NiFi

  • Automatyzacja pobierania danych z różnych źródeł
  • Architektura
  • Przykładowe zastosowania
  • Integracja danych między MySQL i GCS
  • Przykłady transformacji danych
  • Partycjonowanie danych przy zapisie

Apache Kafka

  • Architektura
  • Porównanie z podobnymi narzędziami
  • Pub/Sub vs Producer/Consumer
  • Tworzenie i konfiguracja producenta oraz konsumenta
  • Tematy i partycjonowanie
  • Konsumenci i grupy konsumentów
  • Replikacje i retencja
  • ZooKeeper

Apache Druid

  • Opis i architektura
  • Struktura danych
  • Zarządzanie komponentami
  • Indeksacja danych
  • Druid i platformy Big Data oparte na Apache Hadoop
  • Przetwarzanie real-time i batch

Apache Airflow

Czas trwania

3 dni: 24h

Prelegenci

Autor i trener szkolenia:

Krzysztof Jankiewicz - starszy wykładowca na Politechnice Poznańskiej gdzie w roku 2007 obronił doktorat z Zarządzania współbieżnym dostępem w bazach danych XML. Prowadzi zajęcia z tematyki bardzo ogólnie rozumianego przetwarzania danych oraz aplikacji mobilnych. W tych samym zakresie udziela się na kilku innych uczelniach wyższych w Wielkopolsce. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od 2001 roku współpracuje z firmami szkoleniowymi regularnie prowadząc szkolenia i warsztaty. Regularnie tworzy i aktualizuje autorskie szkolenia.

Co robię na co dzień?

Jestem starszym wykładowcą na Politechnice Poznańskiej, współpracuję z kilkoma innymi uczelniami wyższymi w Wielkopolsce koncentrując się głównie na tematyce systemów przetwarzania danych i aplikacji mobilnych. Współpracuję z firmami IT jako konsultant.

Dlaczego lubię szkolić?

Szkolenia pozwalają wymieniać poglądy, prezentować zagadnienia w sposób dający innym możliwość zdobycia nowej lub usystematyzowania posiadanej już wcześniej wiedzy. Dzieje się to często nie tylko jednokierunkowo. Ponadto szkolenia to miejsce spotkań osób ciekawych, z różnych środowisk, mających różny pogląd na otaczającą nas techniczną rzeczywistość, ale przede wszystkim mających cel, który przez szkolenie chcą osiągnąć. Świadomość obustronnej satysfakcji po każdym szkoleniu jest jak zdrowa dawka endorfin.

Terminy i miejsca

To szkolenie nie ma aktualnych terminów. Wyślij zapytanie o nowe terminy bądź zapisz na powiadomienia o nowych terminach.

1. Praktyczna wiedza z programowania obiektowego w języku Java
2. Silnie rekomendowane jest posiadanie wiedzy i umiejętności z zagadnień ujętych w ramach szkolenia
3. Komputer z dostępem do Internetu

Rejestracja

Szkolenie online
za osobę
2 950
+23% VAT
Cena zawiera:
  • udział w zajęciach
  • materiały szkoleniowo-konferencyjne
  • certyfikat uczestnictwa
Zapisz się

Organizator

Sages Sp. z o.o.
02-796 Warszawa
ul. Wąwozowa 11
woj. mazowieckie
FAQ

Najczęściej zadawane pytania

Prosimy o przejście do sekcji Zapisz się, aby wypełnić formularz zgłoszenia w wydarzeniu. Po jego wysłaniu organizator skontaktuje się celem potwierdzenia przyjęcia zgłoszenia i przekazania szczegółów organizacyjnych.

Kontakt

Masz pytania? Napisz do nas

Wypełnij formularz

Uzupełnij pole
Uzupełnij pole
Wybierz termin wydarzenia
Uzupełnij pole
Uzupełnij pole
Uzupełnij wiadomość
Potwierdź, że nie jesteś botem.
Musisz zaakceptować regulamin.

Dane kontaktowe

Sages Sp. z o.o.
02-796 Warszawa ul. Wąwozowa 11
Powiadomienia o nowych terminach

Zapisz się, aby otrzymywać powiadomienia o nowych terminach tego wydarzenia!