CLICH: Построение DWH на ClickHouse

О событии

1. Основы ClickHouse

• Назначение и архитектура ClickHouse
• Логическая структура базы данных
• Уровни логирования
• Преимущества и ограничения колоночных СУБД
• Сценарии использования ClickHouse
• Сценарии развертывания кластера ClickHouse и планирование установки: облако, on premises, docker.
•  

Лабораторная работа: Создание кластера ClickHouse с использованием Managed Service for ClickHouse или установка в Docker, настройка подключений и написание запросов к системным таблицам.

2. Структура БД в ClickHouse

• Движки баз данных и таблиц (MergeTree, CollapsingMergeTree, Log, Memory, Buffer)
• Констрейнты, индексы, проекции
• Простые и материализованные представления
• Внешние и внутренние словари и работа с ними

Лабораторная работа: Создание баз данных, таблиц, индексов, представлений и проекций в ClickHouse.

3. Основы ClickHouse SQL

• Типы данных
• Команды DDL и DML
• Эффективное написание SQL-запросов
• Пользовательские функции
• Функции работы с датой и временем

Лабораторная работа: Пишем быстрые SQL-запросы и оптимизируем их.

4. Оптимизация и производительность

• Профилирование и EXPLAIN
• Использование system.query_log
• Партиционирование и кластеризация
• Предварительное агрегирование и кэширование данных

       Лабораторная работа: Находим и ускоряем “тяжёлые” запросы. Профилирование и оптимизация запросов.

5. Распределённые системы

• Шардирование и репликация
• Настройка отказоустойчивого кластера
• Балансировка нагрузки

      Лабораторная работа: Настраиваем отказоустойчивый кластер

6. Интеграция и расширенные возможности

• Работа с JSON, массивами, вложенными структурами
• Работа с географическими данными
• Потоковая обработка данных. Паттерны применения ClickPipes
• Интеграция с Kafka, PostgreSQL
• Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase
• Обработка событий в режиме реального времени

       Лабораторная работа: Создаём потоковую обработку данных на ClickHouse

7. Администрирование и безопасность ClickHouse

• Управление пользователями и ролями
• Методы аутентификации
• Резервное копирование и восстановление
• Мониторинг и кастомные метрики
• Алертинг (Prometheus, Grafana)

Лабораторная работа: Настройка резервного копирования в ClickHouse. Реализация кастомных метрик,   построение   дашбордов, (Monitoring service – Prometheus, Visualization Tool – Grafana).

8. Итоговое тестирование

Тестирование (на английском языке) обязательно в случае дальнейшего участия в курсе подготовки к сертификации «ClickHouse Certified Developer»