ИТ
ИТ-мероприятия
18+
SPARK: Анализ данных с помощью современного Apache Spark
- Когда
- 14 декабря, пн – 23 декабря, ср
- Где
- Онлайн
- Цена
- 96000 ₽
- Организатор
- Школа Больших данных
О событии
1. Обзор Apache Spark
-
- Архитектура Spark. Обзор компонентов Spark и их назначения
2. Основные абстракции Apache Spark
-
- Трансформации и действия, Lazy Evaluation
3. Знакомство с Dataframes
-
- Structured API и основная абстракция Spark – Dataframe
4. Знакомство со Spark RDD
-
- Low Level API, использование Resilient Distributed Dataset
5. Apache Spark SQL
-
- Получение данных из SQL-источников и обработка данных с помощью Spark SQL
- Отправка данных в SQL СУБД и работа с Hive QL
- Spark SQL и Hadoop
6. Работа с источниками данных
-
- Ввод и вывод в Apache Spark
- Работа с файлами и базами данных
7. Производительность и параллелизм в Apache Spark
-
- Планы выполнения запроса: логические и физические
8. Конфигурирование Apache Spark
-
- Принципы конфигурирования и основные настройки
9. Spark Streaming и Structured Streaming
-
- Виды потоковой обработки в Apache Spark
- Особенности исполнения streaming кода
- Checkpoint в Spark Streaming
10. GraphX и ML
-
- Место и особенности графовых моделей в программировании
- Задачи машинного обучения и проблематика больших данных
- Основные возможности Spark ML
11. Обработка слабоструктурированных данных
-
- Работа с JSON и XML файлами, особенности и возможности
12. Современный Spark
-
- pandas API в spark
- Spark Connect: долгоживущие сессии
- Spark on Kubernetes (будущее в настоящем)
- Delta Lake – технологическая основа LakeHouse
- Подробна яинформация о программе:
Неверная дата, цена или адрес? Сообщите об ошибке, поправим.
Завтра, 14:00 +1
HPPY: Высокопроизводительная обработка данных на Python
Пн, 14 декабря, 14:00
CORS: КУРС ОСНОВЫ APACHE SPARK ДЛЯ РАЗРАБОТЧИКОВ
Идёт сейчас
Podlodka QA Crew, сезон #16
Идёт сейчас
Код пишет ИИ. А что делаем мы?
Завтра, 12:00
Открытый вводный вебинар к курсу аналитика 1С
Завтра, 14:00 +1