ИТ
ИТ-мероприятия
16+
HPPY: Высокопроизводительная обработка данных на Python
- Когда
- 19 ноября, чт 14:00 – 18:00
и ещё 1 дата - Где
- Онлайн
- Цена
- 0 – 76800 ₽
- Организатор
- Школа Больших данных
Расписание
Прошедших сеансов: 3.
О событии
1. Диагностика производительности: где у Python «болит»-
- Интерпретация vs компиляция: что Python делает «под капотом»
- Бутылочные горлышки: CPU / память / I/O / сеть
- Накладные расходы структур Python (list/dict/object) и почему это важно
- Интеграция с Си (и другими языками программирования)2. Данные решают: представления и форматы, которые ускоряют-
- Pandas: сильные стороны, типичные причины деградации, оптимизационные приёмы
- Apache Arrow: колоночное представление, zero-copy, межъязыковая совместимость
- Polars: быстрый DataFrame-подход, ленивые вычисления, векторизация, параллельность «из коробки»
-
Практика: одну и ту же задачу делаем несколькими способами и сравниваем
-
3. «А если SQL?» — когда это быстрее и проще, чем писать Python-циклы-
- От SQLite к DuckDB: аналитика локально, в файлах, без сервера
- SQL vs DataFrame API: что выбирать и почему
-
Практика: перенос части вычислений в SQL-движок и оценка выигрыша
- Spark как платформа: DataFrame + SQL, когда он оправдан
- 4. Параллелизм в Python без мифов-
- Процессы и потоки: как это работает
- GIL: почему потоки не ускоряют python и что с этим делать
- Параллелизм «за чужой счёт»:
- Dask / Ray / Spark — когда и какой эффект они дают
- SQL-движки — параллельные вычисления внутри (DuckDB/Spark/Trino)
-
Практика: распараллеливаем задачу и фиксируем эффект
-
5. Горизонтальное масштабирование: от одной машины к кластеру-
- Архитектурные сценарии: batch/stream, ETL/ELT, ad-hoc аналитика, сервисные расчёты
- Варианты кластера и диспетчеризация: Spark, Trino, Ray, Celery, (обзор MPI/SLURM)
- Распределённый SQL (Trino): где он стреляет, а где нет
- Итоговая карта решений: что выбрать под ваш кейс, риски, стоимость владения, пределы
- Более подробно с программой курса можно ознакомиться по ссылке:
Неверная дата, цена или адрес? Сообщите об ошибке, поправим.
Пн, 14 декабря, 14:00
CORS: КУРС ОСНОВЫ APACHE SPARK ДЛЯ РАЗРАБОТЧИКОВ
Пн, 14 декабря, 14:00
SPARK: Анализ данных с помощью современного Apache Spark
Идёт сейчас
Podlodka QA Crew, сезон #16
Идёт сейчас
Код пишет ИИ. А что делаем мы?
Завтра, 12:00
Открытый вводный вебинар к курсу аналитика 1С
Пт, 20 ноября, 10:00 +1