Recursive Harness Engineering
D'abord le harness engineering, puis l'amélioration récursive.
Systèmes d’AI en production · Berlin
Je conçois des systèmes d’IA en production à l’intersection de l’ingénierie logicielle, des agents, de l’évaluation, du retrieval, de la sécurité et de l’infrastructure — en transformant les traces et les échecs en expériences contrôlées, en mises en production fiables et en comportements plus sûrs.
Ma série Recursive Harness Engineering commence par les bases : construire un harness, évaluer son comportement de manière indépendante et tester les modifications. Les chapitres suivants automatiseront la recherche d’améliorations et étudieront si l’expérience des cycles précédents aide sur de nouvelles tâches.
Automatisez l’expérience, pas l’autorité qui la déclare sûre.
D'abord le harness engineering, puis l'amélioration récursive.
Dans l'ordre. Commencez par la boucle.
Les équations des articles d'IA, lues symbole par symbole.
Les plus lus
Lire les équations des articles d'AI : retrouver les définitions, les dimensions et l'échantillonnage, puis vérifier sur de petits nombres. Illustré avec l'attention, plus une référence de notation.
Les mêmes tâches de support réalisées par un agent, un agent avec approbation, un agent dans un workflow, un routeur et un workflow sans agent, comparés sur un même jeu de tests.
Comment les exigences d’une tâche façonnent un harness d’agent : choisir le flux de contrôle, les outils, l’exécution de code, l’état, les permissions et les preuves avant de choisir un framework.
À propos
Je suis Slava Dubrov, Staff AI System Engineer, titulaire d’un doctorat en diagnostic par AI. Je travaille sur l’ingénierie logicielle, les systèmes d’agents, l’évaluation, le retrieval, la sécurité et l’infrastructure de production.