Systemy AI w środowisku produkcyjnym

O Slavie Dubrovie

Systemy AI w środowisku produkcyjnym, ewaluacja, bezpieczeństwo i doskonalenie na podstawie wyników.

Jestem Slavą Dubrovem — formalnie dr Viacheslavem Dubrovem^* — Staff AI Systems Engineerem pracującym na styku inżynierii oprogramowania, systemów agentowych, ewaluacji, wyszukiwania, bezpieczeństwa i infrastruktury produkcyjnej. Od 2011 roku zajmuję się uczeniem maszynowym: najpierw były to badania nad diagnostyką urządzeń elektroenergetycznych, a potem, w przemyśle, prognozowanie, rekomendacje, wykrywanie oszustw, wyszukiwanie i agenci AI.

Zwykle odpowiadam za całą ścieżkę: uzgadniam z przyszłymi użytkownikami systemu, co ma on robić, a potem go buduję, poddaję ewaluacji, wdrażam i utrzymuję. Obecnie pracuję jako Staff Machine Learning Engineer w octonomy AI nad produkcyjnymi systemami AI i oprogramowaniem. Wcześniej, w HubSpot, kierowałem pracami nad Context Layer dla infrastruktury wyszukiwania, ugruntowania i pamięci, a następnie zajmowałem się Agent Execution — wdrażaniem LLM, fine-tuningiem, ewaluacją, bezpieczeństwem i runtime’em. Wspólnym mianownikiem tych obszarów jest to, co dzieje się, gdy obiecujący wynik modelu trafia do rzeczywistego systemu.

Moja seria Recursive Harness Engineering bada budowę harnessu, niezależną ewaluację zmian i automatyzację wyszukiwania ulepszeń. Pierwsze rozdziały tworzą podstawy przed przejściem do rekursji. Mały eksperyment z narzędziem pamięci pokazuje, jak niezmieniany agent proponujący zmiany wykorzystuje wyniki testów do wyboru następnej poprawki; dalsze eksperymenty sprawdzą, czy zgromadzone doświadczenie pomaga w nowych zadaniach. Ludzie określają cele, dozwolone zmiany, budżety i kryteria przyjęcia wyniku. Ewaluatory i uprawnienia do przyjmowania zmian pozostają niezależne od optymalizatora.

Kariera zawodowa

Moja praca przesunęła się od badań nad diagnostyką do rankingu, wykrywania oszustw, infrastruktury wyszukiwania i agentów produkcyjnych.

• octonomy AI · Staff Machine Learning Engineer · 2026–obecnie. Produkcyjne systemy AI w startupie z obszaru agentic AI.
• HubSpot · Senior Software Engineer II, potem Tech Lead ML II · 2024–2026. Embeddings i prognozowanie dla AI Signals, Embedding Hub i Context Layer dla agentów AI, a następnie Agent Execution.
• Wayfair · Senior Machine Learning Scientist · 2021–2024. Wykrywanie oszustw i scamów na GCP. Zbudowałem i prowadziłem systemy powiązane z rocznymi oszczędnościami rzędu $4M.
• OLX Group (Prosus) · Data Scientist · 2018–2021. Rekomendacje i ranking wyszukiwania w skali marketplace’u.
• Zalando · Research Engineer · 2017–2018. Prognozowanie popytu dla logistyki, z pipeline’ami Spark na AWS.
• Moskwa i Berlin · 2015–2017. Uczenie maszynowe do monitorowania bezpieczeństwa sieci, analityka klientów dla krajowego operatora telekomunikacyjnego oraz NLP do priorytetyzacji e-maili w berlińskim startupie SaaS.
• Platov South-Russian State Polytechnic University · 2011–2015. Badania doktoranckie nad diagnostyką urządzeń wysokiego napięcia opartą na uczeniu maszynowym, a także systemy pomiarowo-sterujące w LabVIEW dla klientów przemysłowych.

Od problemu do produkcji

• Przemysłowe stanowisko testowe, 2013–2015. Dla zakładu produkującego maszyny hydrauliczne napisałem specyfikację wspólnie z jego inżynierami i zbudowałem oprogramowanie pomiarowo-sterujące na sprzęcie National Instruments. System został oddany do eksploatacji próbnej w zakładzie, a automatyzacja skróciła 720-godzinny test pomp z około trzech miesięcy do około jednego.
• Rekomendacje w OLX, 2019–2020. Kierowałem pracami nad systemem rekomendacyjnym item2vec od badań stosowanych do produkcji, zaczynając od OLX w Polsce.
• Wykrywanie oszustw w Wayfair, 2021–2024. Dwanaście dni po dołączeniu do firmy miałem proof of concept i produkcyjny merge request w toku. Następnie odpowiadałem za jeden z produkcyjnych modeli zespołu do wykrywania oszustw, w tym za jego refaktoryzację i mapę drogową, oraz zbudowałem samonadzorowane embeddings sesji, wdrożone za pośrednictwem Vertex AI Pipelines obok istniejących modeli.
• Embedding Hub w HubSpot, 2024–2026. Zbudowałem Embedding Hub, współdzieloną usługę wektorową opartą na Qdrant, i skoordynowałem ją między trzema zespołami za pomocą RFC. Był to rdzeń Context Layer, którym kierowałem dla agentów AI firmy HubSpot.

Publicznie dostępne materiały

• Podczas World Agentic AI Summit Berlin 2026 zaprezentowałem „Engineering the Agentic Stack”: produkcyjną architekturę obejmującą silnik kognitywny, pamięć, narzędzia, bezpieczeństwo oraz otaczający je runtime.
• Edge of Context zawiera obszerną dokumentację inżynierską, w tym sześcioodcinkową serię Engineering the Agentic Stack. Sam buduję i prowadzę tę stronę, w tym pipeline, który tłumaczy ją na siedem języków.
• Recursive Harness Engineering łączy projektowanie harnessu, ewaluację i ulepszanie poprzez uruchamialne eksperymenty z narzędziem pamięci i asystentem obsługi klienta.
• Labs gromadzi odtwarzalne artefakty, które można uruchamiać lokalnie.

Zasady inżynierskie

• Ustal, jak będzie mierzony sukces, zanim wybierzesz model.
• Zanim uczynisz zachowanie autonomicznym, zapewnij jego obserwowalność.
• Przedkładaj stan środowiska i wyniki nad wiarygodnie brzmiące odpowiedzi końcowe.
• Każdy dodany komponent harnessu powinien uzasadnić swój koszt za pomocą ablation.
• Utrzymuj ewaluatory, politykę bezpieczeństwa i uprawnienia do promocji niezależne od optymalizatora.
• Zachowuj nieudane eksperymenty jako materiał dowodowy.
• Stosuj najtańszą warstwę naprawczą, która rozwiązuje rzeczywistą przyczynę awarii.

Badania, nauczanie i certyfikaty

Posiadam stopień Kandidat of Technical Sciences (rosyjski stopień naukowy, odpowiednik PhD) uzyskany na Southern Federal University. W mojej rozprawie doktorskiej opracowałem dwuetapową metodę identyfikacji stanu wyłączników wysokiego napięcia: najpierw reguły rozmyte i statystyczne, a następnie sieci neuronowe strojone algorytmem genetycznym. Wcześniej uzyskałem dyplom inżyniera z wyróżnieniem w zakresie techniki informacyjno-pomiarowej.

• Stypendia i granty: dwa stypendia DAAD Leonhard Euler na pobyty naukowe na TU Braunschweig (2011) i TU Dortmund (2013), sześciomiesięczne stypendium DAAD Lomonosov w zakresie mechatroniki na TU Ilmenau (2013–2014), stypendium Prezydenta Rosji dla młodych naukowców (2013–2014) oraz młodzieżowy grant innowacyjny UMNIK jako kierownik projektu.
• Publikacje: 25 publikacji naukowych, patent na diagnostykę elektrycznej aparatury łączeniowej oraz współautorski benchmark metod rekomendacji ofert pracy przetestowany online na OLX Jobs.
• Nauczanie i mentoring: zajęcia laboratoryjne i kursy LabVIEW w centrum szkoleniowym National Instruments mojej uczelni, kurs Spark i Spark MLlib na Higher School of Economics w Moskwie (2016) oraz wewnętrzne warsztaty poświęcone głębokiemu uczeniu i godnej zaufania AI w OLX, Wayfair i HubSpot. Od czasów Zalando mentoruję inżynierów, w tym współpracowników, którzy przeszli na stanowiska inżynierów ML i AI.
• Zdobyte certyfikaty: AWS Certified Machine Learning – Specialty (2020) i AWS Certified Solutions Architect – Associate (2019); National Instruments Certified LabVIEW Developer (2014); nanodegree’y Udacity z uczenia maszynowego, AI, głębokiego uczenia ze wzmocnieniem, AI w tradingu i widzenia komputerowego (2017–2021).

Możliwości

Gdzie jeszcze

Informacje o doświadczeniu zawodowym znajdują się na LinkedIn. Kod źródłowy i odtwarzalne artefakty są dostępne na GitHub. Nowe eseje publikuję również na Substack.

^* Kandidat of Technical Sciences (rosyjski stopień naukowy, odpowiednik PhD), uzyskany na Southern Federal University w Rostowie nad Donem w 2015 roku.