AI-системы для production

О Славе Дуброве

Production AI-системы, оценка, безопасность и циклы обратной связи, которые их улучшают.

Я Слава Дубров — официально Вячеслав Дубров, к. т. н.^* — Staff AI Systems Engineer, работающий на стыке software engineering, агентных систем, эвалуации, retrieval, безопасности и production-инфраструктуры.

Сейчас я работаю в octonomy AI над production AI и программными системами. До этого в HubSpot я руководил разработкой Context Layer для retrieval, граундинга и инфраструктуры памяти, а затем занимался Agent Execution: деплоем LLM, файн-тюнингом, эвалуацией, безопасностью и рантаймом. Общая тема этой работы — то, что происходит, когда многообещающий вывод модели сталкивается с реальной системой.

В своих текущих текстах и open-source проектах я исследую, как ИИ-агенты могут помогать улучшать другие AI-системы. ИИ-агент на базе LLM исследует сбой, предлагает изменение в заданных пределах и использует результаты тестов, чтобы решить, что попробовать дальше. Я называю это рекурсивным харнесс-инжинирингом (recursive harness engineering): один харнесс улучшает другой; моя серия на эту тему начиналась под названием Meta-Engineering AI Systems. Люди задают цели, допустимые изменения, бюджет и критерии принятия результата. Этот процесс является замкнутым контуром, потому что каждый результат определяет следующий эксперимент. Это рекурсивное улучшение, а не самоулучшение: ИИ-агент никогда не редактирует ни собственный харнесс, ни проверки, которые его оценивают.

Работа, сформировавшая этот взгляд

Моя работа прошла путь от систем ранжирования и выявления мошенничества до инфраструктуры retrieval и production-агентов.

Избранный опыт

• HubSpot — Context Layer и Agent Execution. Я отвечал за архитектуру уровня Staff и техническое руководство в направлениях retrieval, граундинга, памяти, деплоя LLM, файн-тюнинга, эвалуации, безопасности и рантайма.
• Wayfair — выявление мошенничества, скама и эмбеддинги. Я создавал и возглавлял разработку систем, обеспечивших около $4M ежегодной экономии.
• OLX — ранжирование рекомендаций и поиска. Я работал над системами ранжирования и рекомендаций в масштабе маркетплейса.

Открытые подтверждения

• Labs собирает воспроизводимые артефакты, которые можно запускать локально.
• Recursive Harness Engineering развивает процесс улучшения с помощью запускаемых экспериментов, начиная с ИИ-агента, который предлагает и тестирует изменения в инструменте памяти.
• Edge of Context содержит подробные инженерные материалы, включая серию из шести частей Engineering the Agentic Stack.

Исследования и выступления

Я получил степень кандидата технических наук (российская учёная степень, эквивалент PhD) в Южном федеральном университете за исследования в области AI-диагностики; у меня есть рецензируемые публикации и патенты. Также я провёл семестр докторских исследований по мехатронике в TU Ilmenau по стипендии DAAD Lomonosov.

На World Agentic AI Summit Berlin 2026 я представил доклад «Engineering the Agentic Stack» — production-архитектуру, охватывающую когнитивный движок, память, инструменты, безопасность и окружающий их рантайм.

Инженерные принципы

• Сначала сделайте поведение наблюдаемым, а уже затем — автономным.
• Отдавайте предпочтение состоянию окружения и результатам, а не правдоподобным финальным ответам.
• Каждый добавленный компонент харнесса должен оправдывать свою стоимость посредством абляции.
• Эвалуаторы, политика безопасности и полномочия по продвижению результатов должны быть независимы от оптимизатора.
• Сохраняйте неудачные эксперименты как свидетельства.
• Используйте самый дешёвый слой исправления, который устраняет реальную причину сбоя.

Компетенции

В других местах

Профессиональный опыт опубликован в LinkedIn. Исходный код и воспроизводимые артефакты доступны на GitHub. Новые эссе также выходят на Substack.

^* Кандидат технических наук (российская учёная степень, эквивалент PhD), Южный федеральный университет, Ростов-на-Дону, 2015.