O szkoleniu
Praktyczna umiejętność projektowania platformy do przetwarzania dużej ilości danych. Zdobycie wiedzy na temat powszechnie używanych narzędzi typu open-source w Big Data
- Warsztatowy charakter zajęć
- Użycie wielu różnych narzędzi niezbędnych w codziennej pracy z Big Data
- Ćwiczenia praktyczne odbywają się w środowisku chmury obliczeniowej (Google Cloud Platform)
- Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest uzupełniana praktycznymi zadaniami
- Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
- Programiści chcący poznać podstawy Big Data
- Osoby które chciałby rozszerzyć swoją więdzę na temat narzędzi Big Data
Program szkolenia
Wprowadzenie do świata Big Data
- Przedstawienie domeny
- Problemy Big Data - wydajność, skalowalność, dostępność
- Przegląd typów przetwarzania Big Data
- Omówienie narzędzi wykorzystywanych w ramach kursu
Programowanie w Scala
- Zalety programowania funkcyjnego
- Różnice w stosunku do języka Java
- Elementy języka wykorzystywane w kontekście Big Data
- Ćwiczenia praktyczne (case class, companion object, pattern matching, implicit)
Apache Spark
- Architektura i konfiguracja
- RDD vs Spark SQL
- Transformacje i akcje
- Tworzenie aplikacji w środowisku IDE
- Uruchamianie zadań
- Koncepcje partycjonowania i przesyłania (shuffling) danych
- Catalyst i mechanizmy optymalizacji
- Integracja z Apache Hadoop
Apache Spark Structured Streaming
- Podstawy i zastosowanie Spark Structured Streaming
- Model przetwarzania
- Projektowanie aplikacji przetwarzającej strumienie danych
- Znaczniki czasowe i operatory okna
- Obsługa zdarzeń nieuporządkowanych
Apache NiFi
- Automatyzacja pobierania danych z różnych źródeł
- Architektura
- Przykładowe zastosowania
- Integracja danych między MySQL i GCS
- Przykłady transformacji danych
- Partycjonowanie danych przy zapisie
Apache Kafka
- Architektura
- Porównanie z podobnymi narzędziami
- Pub/Sub vs Producer/Consumer
- Tworzenie i konfiguracja producenta oraz konsumenta
- Tematy i partycjonowanie
- Konsumenci i grupy konsumentów
- Replikacje i retencja
- ZooKeeper
Apache Druid
- Opis i architektura
- Struktura danych
- Zarządzanie komponentami
- Indeksacja danych
- Druid i platformy Big Data oparte na Apache Hadoop
- Przetwarzanie real-time i batch
Apache Airflow
Czas trwania
Prelegenci
Autor i trener szkolenia:
Krzysztof Jankiewicz - starszy wykładowca na Politechnice Poznańskiej gdzie w roku 2007 obronił doktorat z Zarządzania współbieżnym dostępem w bazach danych XML. Prowadzi zajęcia z tematyki bardzo ogólnie rozumianego przetwarzania danych oraz aplikacji mobilnych. W tych samym zakresie udziela się na kilku innych uczelniach wyższych w Wielkopolsce. Od samego początku pracy zawodowej stara się jako konsultant znajdować czas na kontakty przemysłem, gdzie swoją wiedzę może konfrontować i rozwijać w oparciu o rzeczywiste przypadki. Począwszy od 2001 roku współpracuje z firmami szkoleniowymi regularnie prowadząc szkolenia i warsztaty. Regularnie tworzy i aktualizuje autorskie szkolenia.
Co robię na co dzień?
Jestem starszym wykładowcą na Politechnice Poznańskiej, współpracuję z kilkoma innymi uczelniami wyższymi w Wielkopolsce koncentrując się głównie na tematyce systemów przetwarzania danych i aplikacji mobilnych. Współpracuję z firmami IT jako konsultant.
Dlaczego lubię szkolić?
Szkolenia pozwalają wymieniać poglądy, prezentować zagadnienia w sposób dający innym możliwość zdobycia nowej lub usystematyzowania posiadanej już wcześniej wiedzy. Dzieje się to często nie tylko jednokierunkowo. Ponadto szkolenia to miejsce spotkań osób ciekawych, z różnych środowisk, mających różny pogląd na otaczającą nas techniczną rzeczywistość, ale przede wszystkim mających cel, który przez szkolenie chcą osiągnąć. Świadomość obustronnej satysfakcji po każdym szkoleniu jest jak zdrowa dawka endorfin.
Terminy i miejsca
To szkolenie nie ma aktualnych terminów. Wyślij zapytanie o nowe terminy bądź zapisz na powiadomienia o nowych terminach.
2. Silnie rekomendowane jest posiadanie wiedzy i umiejętności z zagadnień ujętych w ramach szkolenia
3. Komputer z dostępem do Internetu
Rejestracja
- udział w zajęciach
- materiały szkoleniowo-konferencyjne
- certyfikat uczestnictwa
Wydarzenie nieaktualne. Wypełnij formularz, aby zapytać o nowe terminy.
Organizator
Najczęściej zadawane pytania
- Chcesz wiedzieć więcej? Napisz do nas! lub zadzwoń!
Masz pytania? Napisz do nas
