MoscowAI #7 митап: Eval RAG, детерминированая AI-разработка, LLM-управляемый фронтенд

О событии

22 октября собираемся в «Школе 21». В программе три доклада: как организовать разработку с AI, дать LLM управление интерфейсом и проверить качество RAG-системы на реальных данных.

Николай Каморник, архитектор AI-разработки, основатель AgentPoint
«Где живёт ваше намерение? Как заставить нейронку строить то, что вы хотите, а не то, что ей показалось»

Как устроить работу над проектом с AI, чтобы после каждой новой сессии не объяснять всё заново? Николай покажет структуру проекта, спецификации и базу знаний на реальных файлах AgentPoint и финтех-проекта Fiamo. Репозиторий AgentPoint открыт — желающие смогут заглянуть в него сами.

Руслан Иванов, AI Engineer, Альфа-Банк
«Как внедрить LLM во Frontend и сделать интерфейс LLM управляемым»

Руслан покажет работающий пример: LLM подключена к frontend-приложению, формирует элементы интерфейса и вызывает инструменты на стороне клиента. Разберём протокол AG-UI, подключение модели к приложению и другие инструменты для работы LLM с UI.

Максим Богуславский, генеральный директор «Альфа-Функции»
«RAG без иллюзий: как измерить качество LLM-системы, а не поверить в него»

Максим расскажет о RAG-системе для поиска по юридическим документам. В пилоте было около 9 500 документов. Разберём, как команда измеряла качество поиска, проверяла ответы и тестировала отдельные компоненты системы. Один из экспериментов с рерэнкером ухудшил результат — Максим покажет, как это обнаружили и какие метрики помогают принимать такие решения до деплоя.

После выступлений будут вопросы из зала и время пообщаться.

22 октября, четверг
Сбор гостей — 18:30, начало докладов — около 19:00
Школа 21: Москва, ул. Вятская, 27, стр. 42

Участие бесплатное, регистрация обязательна. Для входа понадобится паспорт или водительское удостоверение.

Общение MoscowAI продолжается в Telegram-сообществе.