Systèmes d’AI en production

À propos de Slava Dubrov

Systèmes d’AI en production, évaluation, sécurité et boucles de preuves qui les améliorent.

Je suis Slava Dubrov — officiellement, Dr Viacheslav Dubrov^* — Staff AI Systems Engineer, et je travaille à l’intersection du software engineering, des systèmes d’agents, de l’évaluation, de la recherche d’information, de la sécurité et de l’infrastructure de production.

Je travaille actuellement chez octonomy AI sur des systèmes d’AI et des systèmes logiciels destinés à la production. Auparavant, chez HubSpot, j’ai dirigé les travaux sur le Context Layer pour l’infrastructure de retrieval, de grounding et de mémoire, puis j’ai travaillé sur l’Agent Execution, notamment le déploiement de LLM, le fine-tuning, l’évaluation, la safety et le runtime. Le fil conducteur est ce qui se passe lorsqu’une sortie de modèle prometteuse rencontre un système réel.

Dans mes écrits et travaux open source actuels, j’explore la manière dont les agents peuvent contribuer à améliorer d’autres systèmes d’AI. Un agent LLM étudie un échec, propose une modification dans des limites définies et utilise les résultats des tests pour décider de l’étape suivante. J’appelle cela le recursive harness engineering : un harness en améliore un autre ; ma série sur le sujet a débuté sous le nom de Meta-Engineering AI Systems. Les personnes définissent les objectifs, les modifications autorisées, le budget et les critères d’adoption d’un résultat. Le processus est en boucle fermée, car chaque résultat guide l’expérience suivante. C’est de l’amélioration récursive, pas de l’auto-amélioration : l’agent ne modifie jamais son propre harness ni les vérifications qui le jugent.

Le travail à l’origine de cette approche

Mon parcours m’a conduit des systèmes de ranking et de détection de fraude à l’infrastructure de retrieval et aux agents en production.

Expérience sélectionnée

• HubSpot — Context Layer et Agent Execution. J’y ai assuré une architecture et un leadership technique de niveau Staff dans les domaines du retrieval, du grounding, de la mémoire, du déploiement de LLM, du fine-tuning, de l’évaluation, de la safety et du runtime.
• Wayfair — fraude, détection d’arnaques et embeddings. J’ai conçu et dirigé des systèmes associés à environ $4M d’économies annuelles.
• OLX — ranking de recommandations et de recherche. J’ai travaillé sur des systèmes de ranking et de recommandation à l’échelle d’une marketplace.

Éléments publics

• Labs rassemble des artefacts reproductibles pouvant être exécutés en local.
• Recursive Harness Engineering développe le processus d’amélioration au moyen d’expériences exécutables, en commençant par un agent qui propose et teste des modifications d’un outil de mémoire.
• Edge of Context constitue l’archive technique détaillée, notamment avec la série en six parties Engineering the Agentic Stack.

Recherche et conférences

Je suis titulaire d’un diplôme de Kandidat of Technical Sciences (diplôme doctoral russe, équivalent d’un PhD) de la Southern Federal University, obtenu pour des travaux de recherche sur le diagnostic par AI, avec des publications évaluées par les pairs et des brevets. J’ai également effectué un semestre de recherche doctorale en mécatronique à la TU Ilmenau dans le cadre d’une bourse DAAD Lomonosov.

Lors du World Agentic AI Summit Berlin 2026, j’ai présenté « Engineering the Agentic Stack » : une architecture de production couvrant le moteur cognitif, la mémoire, les outils, la sécurité et le runtime qui les entoure.

Principes d’ingénierie

• Rendre le comportement observable avant de le rendre autonome.
• Privilégier l’état de l’environnement et les résultats aux réponses finales plausibles.
• Faire justifier le coût de chaque composant ajouté au harness par une ablation.
• Maintenir les évaluateurs, la politique de sécurité et l’autorité de promotion indépendants de l’optimizer.
• Conserver les expériences ayant échoué comme éléments probants.
• Utiliser la couche de réparation la moins coûteuse qui résout le véritable échec.

Compétences

Ailleurs

Mon parcours professionnel est disponible sur LinkedIn. Le code source et les artefacts reproductibles sont disponibles sur GitHub. Mes nouveaux essais paraissent également sur Substack.

^* Kandidat of Technical Sciences (diplôme doctoral russe, équivalent d’un PhD), décerné par la Southern Federal University, Rostov-sur-le-Don, en 2015.