O szkoleniu
Cele szkolenia
- Zapoznanie z API Apache Spark oferowanym przez bibliotekę pyspark
- Poznanie metod przetwarzania dużych wolumenów danych
Wymagania
- Podstawowa znajomość języka Python i SQL
- Kompleksowe wprowadzenie do pracy z Apache Spark
- Praktyka przed teorią - wszystkie szkolenia technologiczne prowadzone są w formie warsztatowej. Konieczna teoria jest wyjaśniana na przykładzie praktycznych zadań
- Konkretne umiejętności - w ramach każdego szkolenia rozwijamy praktyczne umiejętności związane z daną technologią i tematyką
- Nauka z praktykami - wszyscy trenerzy na co dzień pracują w projektach, gwarantuje to dostęp do eksperckiej wiedzy i praktycznego know-how
- Analitycy i programiści zaznajomieni z językiem Python, chcący poznać jedno z najpopularniejszych narzędzi do przetwarzania danych
Program szkolenia
Wprowadzenie do Apache Spark
- Historia
- Moduły
- Architektura
- Struktura programu
- spark-submit
- Najważniejsze ustawienia
- Miejsce w ekosystemie Big Data
Spark Core
- RDD
- Akumulatory
- Zmienne rozgłoszeniowe
- Partycjonowanie
- Zależności wąskie i szerokie
Spark SQL
- DataFrame
- Wydajność
- Źródła danych
- Schemat danych
- Składnia Spark SQL
- Agregacja danych
- Funkcje analityczne
- UDF
- Testy jednostkowe
Spark UI
Spark ML
- Wektory
- Transformery
- Estymatory
- Potoki
- Algorytmy uczenia maszynowego
Spark Streaming i Structured Streaming
- DStream
- Streaming DataFrame
- Transformacje strumieni danych
- Operacje oknowe
- Watermarking
- Źródła danych
Czas trwania
2 dni (16h)
Prelegenci
Patryk Pilarski
Data scientist. Dobrze czuje się w pracy z danymi w każdym rozmiarze – od dużych po małe. Na ścieżce kariery poszukuje interesujących wyzwań oraz możliwości pracy z ciekawymi technologiami, w związku z czym pracował w licznych projektach łączących w sobie wyzwania z zakresu analizy i inżynierii danych. Chętnie zgłębia nowe technologie oraz języki programowania. Stara się również przekazywać pozyskaną wiedzę i umiejętności wcielając się w rolę trenera.
Co robię na co dzień?
Na co dzień pracuję w Mercerze jako Senior Data Scientist gdzie zajmuję się szeroko pojętym data science: R&D, budowanie modeli, ML engineering, data engineering. Gdy tylko czas na to pozwala prowadzę szkolenia w Sages.
Dlaczego lubię szkolić?
Każde szkolenie to ciekawe i złożone wyzwanie wymagające planowania, elastyczności, umiejętności technicznych oraz umiejętności miękkich. Dodatkowo przekazywanie wiedzy daje sporo frajdy, a spotykanie ludzi którzy chcą się rozwijać to sama przyjemność.
Terminy i miejsca
To szkolenie nie ma aktualnych terminów. Wyślij zapytanie o nowe terminy bądź zapisz na powiadomienia o nowych terminach.
Rejestracja
- udział w zajęciach
- materiały szkoleniowe
- certyfikat uczestnictwa
Wydarzenie nieaktualne. Wypełnij formularz, aby zapytać o nowe terminy.
Organizator
Najczęściej zadawane pytania
- Nazwa firmy: Sages Sp. z o.o.
- Ulica i nr: ul. Wąwozowa 11
- Kod pocztowy: 02-796
- Miejscowość: Warszawa
- Numer NIP: 1132737407
Masz pytania? Napisz do nas
