Recursive Harness Engineering
Najpierw harness engineering, potem rekursyjne ulepszanie.
Systemy AI w środowisku produkcyjnym · Berlin
Projektuję produkcyjne systemy AI, łącząc inżynierię oprogramowania, agentów, ewaluację, wyszukiwanie, bezpieczeństwo i infrastrukturę. Przekształcam ślady wykonania i błędy w kontrolowane eksperymenty, niezawodne wydania i bezpieczniejsze działanie.
Moja seria Recursive Harness Engineering zaczyna od podstaw: budowy harnessu, niezależnej ewaluacji jego zachowania i testowania zmian. Dalsze rozdziały zautomatyzują wyszukiwanie ulepszeń i zbadają, czy doświadczenie z wcześniejszych rund pomaga w nowych zadaniach.
Automatyzuj eksperyment, a nie uprawnienie do uznania go za bezpieczny.
Najpierw harness engineering, potem rekursyjne ulepszanie.
Po kolei. Zacznij od pętli.
Najczęściej czytane
Te same zadania wsparcia jako agent, agent z zatwierdzaniem, agent w przepływie pracy, router i przepływ pracy bez agenta, porównane na jednym zestawie testów.
Jak wymagania zadania kształtują harness agenta: wybór przepływu sterowania, narzędzi, wykonywania kodu, stanu, uprawnień i dowodów, zanim wybierzemy framework.
Wstęp do recursive harness engineering: testowanie kolejnych zmian LLM w narzędziu pamięci i sprawdzenie, czy proste przeszukiwanie daje ten sam wynik.
O mnie
Nazywam się Slava Dubrov. Jestem Staff AI System Engineer ze stopniem doktorskim w dziedzinie diagnostyki AI. Zajmuję się inżynierią oprogramowania, systemami agentowymi, ewaluacją, wyszukiwaniem, bezpieczeństwem i infrastrukturą produkcyjną.