Engineering the Agentic Stack
Der Reihe nach. Beginne beim Loop.
AI-Systeme für den Produktionseinsatz · Berlin
Ich entwerfe produktionsreife AI-Systeme an der Schnittstelle von Software Engineering, Agents, Evaluation, Retrieval, Sicherheit und Infrastruktur – und überführe Traces und Fehler in kontrollierte Experimente, zuverlässige Releases und sichereres Verhalten.
Meine Serie Recursive Harness Engineering untersucht rekursive Verbesserung: Ein Agent-Harness verbessert einen anderen, während Tests und ein Mensch entscheiden, was ausgeliefert wird.
Automatisiere das Experiment, nicht die Befugnis, es für sicher zu erklären.
Der Reihe nach. Beginne beim Loop.
Erst den Harness bauen, dann jede Änderung messen.
Kontrollierte rekursive Verbesserung: Ein Harness verbessert einen anderen.
Meistgelesen
Dieselben Support-Aufgaben als Agent, als Agent mit Freigabe, als Agent in einem Workflow, als Router und als Workflow ohne Agent, verglichen auf einem Testset.
Wie die Anforderungen einer Aufgabe einen Agent-Harness formen: Ablaufsteuerung, Tools, Codeausführung, State, Berechtigungen und Nachweise festlegen, bevor man ein Framework wählt.
Recursive Harness Engineering in einem kleinen Loop: Ein LLM macht aus der falschen Antwort eines Memory-Tools eine getestete Korrektur, ein einfaches Skript prüft, ob ein LLM nötig war.
Über mich
Ich bin Slava Dubrov, Staff AI System Engineer mit einem Doktorgrad in AI-Diagnostik. Ich arbeite an Software Engineering, Agentensystemen, Evaluation, Retrieval, Sicherheit und Produktionsinfrastruktur.