Laboratorios de ingeniería de AI

Código de los artículos de este sitio. Cada ficha indica qué midió el proyecto y qué necesitas para ejecutarlo.

Laboratorios de las series

• Market Analyst Agent

  Serie: Engineering the Agentic Stack

  Un agente de investigación con LangGraph que obtiene datos de mercado y prepara informes. La serie lo usa como implementación de referencia para el razonamiento, la memoria, las herramientas, los guardianes y el runtime.

  Resultado: No hay benchmark. Las pruebas comprueban las tool calls sobre datos de mercado sintéticos y cómo el guardián envía las operaciones a aprobación.

  Cómo ejecutarlo: uv run pytest tests/test_tools.py usa datos sintéticos y no necesita ningún modelo. Un análisis completo necesita Python 3.13+, Docker y claves API de modelo y de búsqueda, y hace llamadas de pago al modelo.

  Repositorio · Parte 1

• Agent Harness Lab

  Serie: Building and Evaluating Agent Harnesses

  Un agente de soporte con LangChain que gestiona reembolsos, consultas de entrega y cambios de cuenta. Los archivos de especificación activan y desactivan componentes del harness, de modo que dos configuraciones se ejecutan sobre las mismas tareas.

  Resultado: Con gpt-6-luna, ambas especificaciones superaron 12 de 12 comprobaciones de estado propias. La especificación con Schema-Guided Reasoning y la protección de escritura Jev costó unas 2,2 veces más y tardó aproximadamente el doble. En ocho tareas de retail de τ³-bench, la especificación protegida superó 6 y la simple superó 7, pero las tareas fallidas cambiaron entre ejecuciones, así que esa diferencia no favorece a ninguna de las dos.

  Cómo ejecutarlo: make test se ejecuta sin conexión. make a1-custom y make a1-tau3 llaman a modelos a través de OpenRouter y necesitan una clave API.

  Repositorio · Artículo

• Recursive Harness Engineering Lab

  Serie: Recursive Harness Engineering

  Un LLM propone cambios en una herramienta de memoria, unas pruebas deterministas en Python evalúan cada cambio sobre 20 historias sintéticas y los resultados de las pruebas deciden la siguiente propuesta.

  Resultado: Tres campañas empezaron en 13 de 20 y todas llegaron a 20 de 20 con los mismos tres parches, usando 12 llamadas al modelo por unos 0,04 USD. Un barrido de las 384 configuraciones se ejecutó en menos de un segundo y encontró 16 que pasan, así que esta búsqueda no necesitaba un LLM.

  Cómo ejecutarlo: lab verify y lab serve comprueban el estudio grabado sin clave API. Una campaña nueva necesita OPENAI_API_KEY y el flag --live.

  Repositorio · Artículo

Más laboratorios

• RAG Evals Demo

  Notebooks y módulos que calculan métricas de retrieval, reranking y generación sobre el corpus SciFact, además de un barrido sobre ajustes de chunking, embedding y LLM. Qdrant se ejecuta embebido, así que no necesitas Docker.

  Resultado: No se publica ningún benchmark de SciFact. Las pruebas unitarias fijan los ejemplos prácticos del artículo, como Recall@5 = 0.750, MRR = 0.625 y nDCG@5 = 0.627, para que puedas comprobar cada métrica con un cálculo a mano.

  Cómo ejecutarlo: make eval ejecuta la batería de pruebas. make benchmark llama a modelos alojados de GPT, Claude y Gemini y necesita sus claves API.

  Repositorio · Artículo

• TypeScript Agent Service

  Un monorepo pnpm para ingenieros de ML en Python que necesitan entregar TypeScript: dos implementaciones del agent loop, una API en streaming, historial de ejecuciones en Postgres, un worker y un servidor MCP.

  Resultado: 40 pruebas, de las cuales 36 se ejecutan sin Postgres ni clave API. Las pruebas del agent loop terminan en menos de un segundo sin red.

  Cómo ejecutarlo: Node 24 y pnpm. pnpm demo no necesita clave API, base de datos ni Docker. La API real necesita OPENAI_API_KEY y Postgres en Docker.

  Repositorio · Artículo

• Search Ranking Stack

  BM25, dense retrieval, fusión híbrida, reranking con cross-encoder y reranking con LLM sobre una muestra de datos de búsqueda de productos de Amazon ESCI, medidos etapa por etapa.

  Resultado: NDCG@10 es 0.585 para BM25, 0.611 para dense retrieval y 0.628 para la fusión híbrida, que supera a cada método por separado. Recall@100 queda fijado en el retrieval (0.842 para el híbrido), y las etapas posteriores no pueden subirlo.

  Cómo ejecutarlo: uv sync y después uv run download-data (descarga de 2,5 GB, muestra de 5 MB). La etapa LLM se ejecuta con Ollama, la API de Anthropic o un modelo Qwen local.

  Repositorio · Artículo

• Model Compression Demo

  Una CLI que planifica la cuantización de un LLM para un modelo y un hardware objetivo dados, y después imprime recetas, ejecuciones en seco, comandos de serving y planes de benchmark para vLLM, LLM Compressor y TensorRT-LLM.

  Resultado: No hay resultados medidos. Las cifras de benchmark del artículo proceden de otros equipos; la demo te da los comandos para medir las tuyas.

  Cómo ejecutarlo: uv run python demo.py plan y los demás comandos de planificación no necesitan GPU. Las ejecuciones de cuantización, serving y calidad necesitan una GPU y vLLM.

  Repositorio · Artículo