AI-Systeme für den Produktionseinsatz

Über Slava Dubrov

AI-Systeme für Produktion, Evaluation, Sicherheit und die Evidenzschleifen, die sie verbessern.

Ich bin Slava Dubrov – offiziell Dr. Viacheslav Dubrov^* – und arbeite als Staff AI Systems Engineer an der Schnittstelle von Software Engineering, Agent-Systemen, Evaluation, Retrieval, Security und Production Infrastructure.

Derzeit arbeite ich bei octonomy AI an Production AI und Software-Systemen. Zuvor habe ich bei HubSpot die Arbeit am Context Layer für Retrieval, Grounding und Memory Infrastructure geleitet und anschließend an Agent Execution in den Bereichen LLM Deployment, Fine-Tuning, Evaluation, Safety und Runtime gearbeitet. Der rote Faden ist die Frage, was passiert, wenn ein vielversprechender Model-Output auf ein reales System trifft.

In meinen aktuellen Texten und Open-Source-Projekten untersuche ich, wie Agents zur Verbesserung anderer AI-Systeme beitragen können. Ein LLM Agent untersucht einen Fehler, schlägt innerhalb definierter Grenzen eine Änderung vor und nutzt Testergebnisse, um zu entscheiden, was als Nächstes ausprobiert werden soll. Ich nenne das Recursive Harness Engineering: Ein Harness verbessert einen anderen. Meine Serie dazu begann als „Meta-Engineering AI Systems“. Menschen definieren die Ziele, zulässigen Änderungen, das Budget und die Kriterien für die Übernahme eines Ergebnisses. Der Prozess ist Closed-Loop, weil jedes Ergebnis das nächste Experiment beeinflusst. Das ist rekursive Verbesserung, keine Selbstverbesserung: Der Agent bearbeitet nie seinen eigenen Harness oder die Prüfungen, nach denen er beurteilt wird.

Die Arbeit hinter dieser Perspektive

Meine Arbeit hat sich von Ranking- und Fraud-Systemen über Retrieval Infrastructure bis hin zu Production Agents entwickelt.

Ausgewählte Erfahrungen

• HubSpot – Context Layer und Agent Execution. Ich verantwortete die Architektur auf Staff-Level und die technische Leitung in den Bereichen Retrieval, Grounding, Memory, LLM Deployment, Fine-Tuning, Evaluation, Safety und Runtime.
• Wayfair – Fraud, Scam Detection und Embeddings. Ich entwickelte und leitete Systeme, die mit jährlichen Einsparungen von etwa $4M verbunden waren.
• OLX – Recommendation und Search Ranking. Ich arbeitete an Ranking- und Recommendation-Systemen im Maßstab eines Marktplatzes.

Öffentliche Nachweise

• Labs sammelt reproduzierbare Artefakte, die lokal ausgeführt werden können.
• Recursive Harness Engineering entwickelt den Verbesserungsprozess anhand ausführbarer Experimente weiter, beginnend mit einem Agent, der Änderungen an einem Memory Tool vorschlägt und testet.
• Edge of Context enthält die ausführliche technische Dokumentation, einschließlich der sechsteiligen Serie Engineering the Agentic Stack.

Forschung und Vorträge

Ich habe einen Abschluss als Kandidat der technischen Wissenschaften (russischer Doktorgrad, PhD-Äquivalent) von der Southern Federal University für meine Forschung zu AI-Diagnostik. Dazu kommen peer-reviewte Publikationen und Patente. Außerdem verbrachte ich im Rahmen eines DAAD-Lomonossow-Stipendiums ein Forschungssemester im Doktorandenprogramm Mechatronics an der TU Ilmenau.

Auf dem World Agentic AI Summit Berlin 2026 präsentierte ich „Engineering the Agentic Stack“: eine Production Architecture, die Cognitive Engine, Memory, Tools, Security und die sie umgebende Runtime abdeckt.

Engineering-Prinzipien

• Mache das Verhalten beobachtbar, bevor du es autonom machst.
• Bevorzuge Environment State und Outcomes gegenüber plausiblen finalen Antworten.
• Lass jede hinzugefügte Harness-Komponente ihre Kosten durch Ablation rechtfertigen.
• Halte Evaluators, Security Policy und Promotion Authority vom Optimizer unabhängig.
• Bewahre fehlgeschlagene Experimente als Evidenz auf.
• Verwende die günstigste Repair Layer, die den tatsächlichen Fehler behebt.

Fähigkeiten

Andernorts

Mein beruflicher Hintergrund ist auf LinkedIn zu finden. Source Code und reproduzierbare Artefakte gibt es auf GitHub. Neue Essays erscheinen außerdem auf Substack.

^* Kandidat der technischen Wissenschaften (russischer Doktorgrad, PhD-Äquivalent), verliehen von der Southern Federal University, Rostow am Don, 2015.