Systemy AI w środowisku produkcyjnym

O Slavie Dubrovie

Systemy AI w środowisku produkcyjnym, ewaluacja, bezpieczeństwo i doskonalenie na podstawie wyników.

Jestem Slavą Dubrovem — formalnie dr. Viacheslavem Dubrovem^* — Staff AI Systems Engineerem pracującym na styku inżynierii oprogramowania, systemów agentowych, ewaluacji, wyszukiwania, bezpieczeństwa i infrastruktury produkcyjnej.

Obecnie pracuję w octonomy AI nad produkcyjnymi systemami AI i oprogramowaniem. Wcześniej, w HubSpot, kierowałem pracami nad Context Layer dla infrastruktury wyszukiwania, ugruntowania i pamięci, a następnie zajmowałem się Agent Execution — wdrażaniem LLM, fine-tuningiem, ewaluacją, bezpieczeństwem i runtime’em. Wspólnym mianownikiem tych obszarów jest to, co dzieje się, gdy obiecujący wynik modelu trafia do rzeczywistego systemu.

W moich obecnych tekstach i projektach open source badam, jak agenci mogą pomagać w ulepszaniu systemów AI. Agent LLM analizuje awarię, proponuje zmianę w określonych granicach i wykorzystuje wyniki testów, aby zdecydować, co wypróbować dalej. Nazywam to meta-inżynierią systemów AI: projektowaniem samego procesu ulepszania. Ludzie definiują cele, dozwolone zmiany, budżet i kryteria przyjęcia wyniku. Proces jest zamkniętą pętlą, ponieważ każdy wynik wpływa na następny eksperyment.

Praca stojąca za tą perspektywą

Moja praca obejmowała kolejno systemy rankingowe i systemy wykrywania nadużyć, infrastrukturę wyszukiwania oraz agentów produkcyjnych.

Wybrane doświadczenie

• HubSpot — Context Layer i Agent Execution. Odpowiadałem na poziomie Staff za architekturę i przywództwo techniczne w obszarach wyszukiwania, ugruntowania, pamięci, wdrażania LLM, fine-tuningu, ewaluacji, bezpieczeństwa i runtime’u.
• Wayfair — wykrywanie oszustw, scamów i embeddings. Zbudowałem i prowadziłem systemy powiązane z rocznymi oszczędnościami rzędu $4M.
• OLX — rekomendacje i ranking wyszukiwania. Pracowałem nad systemami rankingowymi i rekomendacyjnymi w skali marketplace’u.

Publicznie dostępne materiały

• Labs gromadzi odtwarzalne artefakty, które można uruchamiać lokalnie.
• Meta-Engineering AI Systems rozwija proces ulepszania za pomocą uruchamialnych eksperymentów, zaczynając od agenta, który proponuje i testuje zmiany w narzędziu pamięci.
• Edge of Context zawiera obszerną dokumentację inżynierską, w tym sześcioodcinkową serię Engineering the Agentic Stack.

Badania i wystąpienia

Posiadam stopień Kandidat of Technical Sciences (rosyjski stopień naukowy, odpowiednik PhD) uzyskany na Southern Federal University za badania nad diagnostyką AI, a także recenzowane publikacje i patenty. Odbyłem również semestr doktoranckich badań z mechatroniki na TU Ilmenau w ramach stypendium DAAD Lomonosov.

Podczas World Agentic AI Summit Berlin 2026 zaprezentowałem „Engineering the Agentic Stack”: produkcyjną architekturę obejmującą silnik kognitywny, pamięć, narzędzia, bezpieczeństwo oraz otaczający je runtime.

Zasady inżynierskie

• Zanim uczynisz zachowanie autonomicznym, zapewnij jego obserwowalność.
• Przedkładaj stan środowiska i wyniki nad wiarygodnie brzmiące odpowiedzi końcowe.
• Każdy dodany komponent harnessu powinien uzasadnić swój koszt za pomocą ablation.
• Utrzymuj ewaluatory, politykę bezpieczeństwa i uprawnienia do promocji niezależne od optymalizatora.
• Zachowuj nieudane eksperymenty jako materiał dowodowy.
• Stosuj najtańszą warstwę naprawczą, która rozwiązuje rzeczywistą przyczynę awarii.

Możliwości

Gdzie jeszcze

Informacje o doświadczeniu zawodowym znajdują się na LinkedIn. Kod źródłowy i odtwarzalne artefakty są dostępne na GitHub. Nowe eseje publikuję również na Substack.

^* Kandidat of Technical Sciences (rosyjski stopień naukowy, odpowiednik PhD), uzyskany na Southern Federal University w Rostowie nad Donem w 2015 roku.