Inżynieria AI z pętlą informacji zwrotnej
Przekształcaj ślady wykonania i błędy w eksperymenty o ograniczonym zakresie, niezależną ewaluację i decyzje o wdrożeniu oparte na wynikach.
Systemy AI w środowisku produkcyjnym · Berlin
Buduj systemy AI, które doskonalą się na podstawie wyników
Projektuję produkcyjne systemy AI, łącząc inżynierię oprogramowania, agentów, ewaluację, wyszukiwanie, bezpieczeństwo i infrastrukturę. Przekształcam ślady wykonania i błędy w kontrolowane eksperymenty, niezawodne wydania i bezpieczniejsze działanie.
- Staff AI System Engineeroprogramowanie · agenci · ewaluacja · bezpieczeństwo
- Ponad 11 latAI i oprogramowanie w środowisku produkcyjnym
- Stopień doktorskidiagnostyka AI · odpowiednik PhD
- Open sourcesystemy z odtwarzalnymi wynikami
Wyzwania produkcyjne
Demo to nie jest najtrudniejsza część.
Agenci w środowisku produkcyjnym zawodzą na styku pamięci, wyszukiwania, narzędzi, uprawnień, ewaluacji i kontroli wydań. Poprawa jednego wyniku nie oznacza postępu, jeśli zmiana pogarsza niezawodność, bezpieczeństwo lub koszty.
Trzy powiązane obszary inżynierii
Jeden system pod kontroląWeryfikacja i bezpieczeństwo agentów
Przed wdrożeniem sprawdź, do czego można nakłonić agenta przez manipulację, i oddziel zasady bezpieczeństwa od optymalizatora.
Systemy agentowe w środowisku produkcyjnym
Projektuj pamięć, wyszukiwanie, narzędzia, warstwy sterujące, środowiska wykonawcze i obserwowalność jako jeden system pod kontrolą.
Cykl działania
Automatyzuj eksperyment, a nie uprawnienie do uznania go za bezpieczny.
- Obserwuj
- Diagnozuj
- Proponuj
- Eksperymentuj
- Oceniaj
- Kwestionuj
- Wdrażaj
- Wyciągaj wnioski
Systemy, eksperymenty i dowody
Zobacz wszystkie projekty →Systemy agentowe
Engineering the Agentic Stack
Sześcioczęściowa architektura obejmująca rozumowanie, pamięć, narzędzia, bezpieczeństwo, środowisko wykonawcze i warstwę sterującą wokół modelu.
Ewaluacja
Ewaluacja agentów AI w środowisku produkcyjnym
Przekształcaj ślady wykonania w zestawy testów regresji i połącz je z uruchamialnym środowiskiem ewaluacji RAG, jasno określając zakres wniosków.
Wyszukiwanie i język
Wyszukiwanie, OCR i NER
Przewodniki po rankingu, rozumieniu dokumentów, ekstrakcji danych i systemach, które je łączą.
O mnie
To systemy wokół modelu są produktem.
Nazywam się Slava Dubrov. Jestem Staff AI System Engineer ze stopniem doktorskim w dziedzinie diagnostyki AI. Zajmuję się inżynierią oprogramowania, systemami agentowymi, ewaluacją, wyszukiwaniem, bezpieczeństwem i infrastrukturą produkcyjną.
Więcej o mojej pracy →Czytaj dalej
Sprawdź dowody stojące za pomysłami.
Poznaj projekty inżynierskie, uruchom publiczne przykłady lub przeczytaj artykuły o budowanych systemach.