AI Engineering Labs

Code bij de artikelen op deze site. Elke kaart vertelt wat het project heeft gemeten en wat je nodig hebt om het uit te voeren.

Labs bij de series

• Market Analyst Agent

  Serie: Engineering the Agentic Stack

  Een LangGraph-researchagent die marktdata ophaalt en rapporten opstelt. De serie gebruikt hem als referentie-implementatie voor reasoning, memory, tools, guardians en runtime.

  Resultaat: Geen benchmark. De tests controleren tool calls op synthetische marktdata en hoe de guardian trades doorstuurt voor goedkeuring.

  Uitvoeren: uv run pytest tests/test_tools.py gebruikt synthetische data en heeft geen model nodig. Een volledige analyse vereist Python 3.13+, Docker en API-sleutels voor een model en een zoekdienst, en doet betaalde modelaanroepen.

  Repository · Deel 1

• Agent Harness Lab

  Serie: Building and Evaluating Agent Harnesses

  Een LangChain-supportagent die terugbetalingen, vragen over levering en accountwijzigingen afhandelt. Specbestanden zetten harness-componenten aan en uit, zodat twee configuraties op dezelfde taken draaien.

  Resultaat: Met gpt-6-luna haalden beide specs 12 van de 12 eigen state checks. De spec met Schema-Guided Reasoning en de Jev write guard kostte ongeveer 2,2 keer zoveel en duurde ongeveer twee keer zo lang. Op acht retailtaken uit τ³-bench haalde de spec met guard er 6 en de kale spec er 7, maar de mislukte taken verschilden per run, dus dat verschil pleit voor geen van beide specs.

  Uitvoeren: make test draait offline. make a1-custom en make a1-tau3 roepen modellen aan via OpenRouter en vereisen een API-sleutel.

  Repository · Artikel

• Recursive Harness Engineering Lab

  Serie: Recursive Harness Engineering

  Een LLM stelt wijzigingen aan een geheugentool voor, deterministische Python-tests testen elke wijziging op 20 synthetische verhalen, en de testresultaten bepalen het volgende voorstel.

  Resultaat: Drie campagnes begonnen op 13 van de 20 en bereikten allemaal 20 van de 20 met dezelfde drie patches, met 12 modelaanroepen voor ongeveer USD 0,04. Een sweep over alle 384 configuraties draaide in minder dan een seconde en vond er 16 die slagen, dus deze zoektocht had geen LLM nodig.

  Uitvoeren: lab verify en lab serve controleren de opgeslagen studie zonder API-sleutel. Een nieuwe campagne vereist OPENAI_API_KEY en de vlag --live.

  Repository · Artikel

Meer labs

• RAG Evals Demo

  Notebooks en modules die retrieval-, reranking- en generatiemetrics berekenen op het SciFact-corpus, plus een sweep over instellingen voor chunking, embedding en LLM. Qdrant draait embedded, dus je hebt geen Docker nodig.

  Resultaat: Er wordt geen SciFact-benchmark gerapporteerd. Unittests leggen de uitgewerkte voorbeelden uit het artikel vast, zoals Recall@5 = 0.750, MRR = 0.625 en nDCG@5 = 0.627, zodat je elke metric kunt vergelijken met een handmatige berekening.

  Uitvoeren: make eval draait de suite. make benchmark roept gehoste GPT-, Claude- en Gemini-modellen aan en vereist hun API-sleutels.

  Repository · Artikel

• TypeScript Agent Service

  Een pnpm-monorepo voor Python-ML-engineers die TypeScript moeten opleveren: twee implementaties van de agent loop, een streaming API, runhistorie in Postgres, een worker en een MCP-server.

  Resultaat: 40 tests, waarvan 36 draaien zonder Postgres of API-sleutel. De tests van de agent loop zijn in minder dan een seconde klaar, zonder netwerk.

  Uitvoeren: Node 24 en pnpm. pnpm demo heeft geen API-sleutel, database of Docker nodig. De echte API vereist OPENAI_API_KEY en Postgres in Docker.

  Repository · Artikel

• Search Ranking Stack

  BM25, dense retrieval, hybrid fusion, cross-encoder reranking en LLM-reranking op een steekproef van Amazon ESCI-productzoekdata, fase voor fase gemeten.

  Resultaat: NDCG@10 is 0,585 voor BM25, 0,611 voor dense retrieval en 0,628 voor hybrid fusion, wat beter is dan elke methode afzonderlijk. Recall@100 ligt vast bij retrieval (0,842 voor hybrid), en latere fasen kunnen die niet verhogen.

  Uitvoeren: uv sync, daarna uv run download-data (2,5 GB download, 5 MB steekproef). De LLM-fase draait via Ollama, de Anthropic API of een lokaal Qwen-model.

  Repository · Artikel

• Model Compression Demo

  Een CLI die LLM-quantization plant voor een gegeven model en doelhardware, en daarna recepten, dry runs, servingcommando’s en benchmarkplannen afdrukt voor vLLM, LLM Compressor en TensorRT-LLM.

  Resultaat: Geen gemeten resultaat. De benchmarkcijfers in het artikel komen van andere teams; de demo geeft je de commando’s om zelf te meten.

  Uitvoeren: uv run python demo.py plan en de andere planningscommando’s hebben geen GPU nodig. Quantization-, serving- en kwaliteitsruns vereisen een GPU en vLLM.

  Repository · Artikel