Labs d’ingénierie AI

Le code des articles de ce site. Chaque fiche indique ce que le projet a mesuré et ce qu’il faut pour l’exécuter.

Labs des séries

• Market Analyst Agent

  Série : Engineering the Agentic Stack

  Un agent de recherche LangGraph qui récupère des données de marché et prépare des rapports. La série s’en sert comme implémentation de référence pour le raisonnement, la mémoire, les outils, les guardians et le runtime.

  Résultat : Aucun benchmark. Les tests vérifient les tool calls sur des données de marché synthétiques et la façon dont le guardian envoie les transactions en validation.

  Exécution : uv run pytest tests/test_tools.py utilise des données synthétiques et ne nécessite aucun modèle. Une analyse complète nécessite Python 3.13+, Docker et des clés API pour le modèle et la recherche, et elle effectue des appels payants au modèle.

  Dépôt · Partie 1

• Agent Harness Lab

  Série : Building and Evaluating Agent Harnesses

  Un agent de support LangChain qui traite les remboursements, les questions de livraison et les modifications de compte. Des fichiers de spec activent et désactivent les composants du harness, de sorte que deux configurations s’exécutent sur les mêmes tâches.

  Résultat : Avec gpt-6-luna, les deux specs ont réussi 12 vérifications d’état personnalisées sur 12. La spec avec Schema-Guided Reasoning et le garde-fou d’écriture Jev a coûté environ 2,2 fois plus et a pris environ deux fois plus de temps. Sur huit tâches retail de τ³-bench, la spec protégée en a réussi 6 et la spec simple 7, mais les tâches en échec ont changé d’une exécution à l’autre, donc cet écart ne favorise aucune des deux specs.

  Exécution : make test s’exécute hors ligne. make a1-custom et make a1-tau3 appellent des modèles via OpenRouter et nécessitent une clé API.

  Dépôt · Article

• Recursive Harness Engineering Lab

  Série : Recursive Harness Engineering

  Un LLM propose des modifications d’un outil de mémoire, des tests Python déterministes évaluent chaque modification sur 20 scénarios synthétiques, et les résultats des tests décident de la proposition suivante.

  Résultat : Trois campagnes sont parties de 13 sur 20 et ont toutes atteint 20 sur 20 avec les trois mêmes correctifs, en 12 appels au modèle pour environ 0,04 USD. Un balayage des 384 configurations s’est exécuté en moins d’une seconde et en a trouvé 16 qui réussissent, donc cette recherche n’avait pas besoin d’un LLM.

  Exécution : lab verify et lab serve vérifient l’étude enregistrée sans clé API. Une nouvelle campagne nécessite OPENAI_API_KEY et l’option --live.

  Dépôt · Article

Autres labs

• RAG Evals Demo

  Des notebooks et des modules qui calculent les métriques de retrieval, de reranking et de génération sur le corpus SciFact, ainsi qu’un balayage des paramètres de découpage, d’embedding et de LLM. Qdrant s’exécute en mode embarqué, donc Docker n’est pas nécessaire.

  Résultat : Aucun benchmark SciFact n’est publié. Des tests unitaires fixent les exemples détaillés de l’article, comme Recall@5 = 0.750, MRR = 0.625 et nDCG@5 = 0.627, pour que vous puissiez vérifier chaque métrique par rapport à un calcul à la main.

  Exécution : make eval lance la suite. make benchmark appelle des modèles GPT, Claude et Gemini hébergés et nécessite leurs clés API.

  Dépôt · Article

• TypeScript Agent Service

  Un monorepo pnpm pour les ingénieurs ML Python qui doivent livrer du TypeScript : deux implémentations de l’agent loop, une API en streaming, un historique des exécutions dans Postgres, un worker et un serveur MCP.

  Résultat : 40 tests, dont 36 s’exécutent sans Postgres ni clé API. Les tests de l’agent loop se terminent en moins d’une seconde sans réseau.

  Exécution : Node 24 et pnpm. pnpm demo ne nécessite ni clé API, ni base de données, ni Docker. La vraie API nécessite OPENAI_API_KEY et Postgres dans Docker.

  Dépôt · Article

• Search Ranking Stack

  BM25, retrieval dense, fusion hybride, reranking par cross-encoder et reranking par LLM sur un échantillon de données de recherche de produits Amazon ESCI, mesurés étape par étape.

  Résultat : Le NDCG@10 est de 0.585 pour BM25, 0.611 pour le retrieval dense et 0.628 pour la fusion hybride, qui dépasse chaque méthode prise seule. Le Recall@100 est fixé au retrieval (0.842 pour l’hybride), et les étapes suivantes ne peuvent pas l’augmenter.

  Exécution : uv sync, puis uv run download-data (téléchargement de 2,5 Go, échantillon de 5 Mo). L’étape LLM passe par Ollama, l’API Anthropic ou un modèle Qwen local.

  Dépôt · Article

• Model Compression Demo

  Une CLI qui planifie la quantification d’un LLM pour un modèle et un matériel cible donnés, puis affiche des recettes, des simulations, des commandes de serving et des plans de benchmark pour vLLM, LLM Compressor et TensorRT-LLM.

  Résultat : Aucun résultat mesuré. Les chiffres de benchmark de l’article viennent d’autres équipes ; la démo vous donne les commandes pour mesurer les vôtres.

  Exécution : uv run python demo.py plan et les autres commandes de planification ne nécessitent pas de GPU. La quantification, le serving et les mesures de qualité nécessitent un GPU et vLLM.

  Dépôt · Article