Closed-Loop AI Engineering
Transformar traces e falhas em experiências delimitadas, avaliação independente e decisões de promoção baseadas em evidência.
Sistemas de AI em produção · Berlim
Construo sistemas de AI que melhoram com base em evidências
Tradução automática Este artigo foi traduzido automaticamente a partir da versão original em inglês.
Desenho sistemas de AI em produção que abrangem engenharia de software, agentes, avaliação, retrieval, segurança e infraestrutura, transformando traces e falhas em experiências controladas, releases fiáveis e comportamentos mais seguros.
- Staff AI System Engineersoftware · agentes · avaliação · segurança
- Mais de 11 anosAI e software em produção
- Doutoramentodiagnóstico com AI · equivalente a PhD
- Código abertosistemas reproduzíveis
O problema de produção
A demo não é a parte difícil.
Os agentes em produção falham nas ligações entre memória, retrieval, ferramentas, permissões, avaliação e controlo de releases. Melhorar uma métrica não é progresso se a alteração prejudicar a fiabilidade, a segurança ou o custo.
Três pilares de engenharia ligados
Um sistema governadoGarantia e segurança de agentes
Testar o que um agente pode ser manipulado para fazer antes do lançamento e manter as políticas fora do otimizador.
Sistemas de agentes em produção
Projetar memória, retrieval, ferramentas, harnesses, runtimes e observabilidade como um único sistema governado.
O ciclo operacional
Automatize a experiência, não a autoridade para a declarar segura.
- Observar
- Diagnosticar
- Propor
- Experimentar
- Avaliar
- Desafiar
- Promover
- Aprender
Sistemas, experiências e evidência
Ver todo o trabalho →Sistemas de agentes
Engineering the Agentic Stack
Uma arquitetura em seis partes sobre reasoning, memória, ferramentas, segurança, runtime e o harness em torno do modelo.
Avaliação
Avaliação de agentes de AI em produção
Transformar traces em suites de regressão e ligá-las a um harness executável de avaliação de RAG com afirmações delimitadas.
Retrieval e linguagem
Pesquisa, OCR e NER
Guias práticos de ranking, compreensão de documentos, extração estruturada e dos sistemas que os ligam.
Sobre
Os sistemas em torno do modelo são o produto.
Sou Slava Dubrov, Staff AI System Engineer com um doutoramento em diagnóstico com AI. Trabalho em engenharia de software, sistemas de agentes, avaliação, retrieval, segurança e infraestrutura de produção.
Mais sobre o meu trabalho →Explorar mais
Siga a evidência por detrás das ideias.
Leia o trabalho de engenharia, execute os artefactos públicos ou continue pelos textos que explicam os sistemas.