AI Engineering Labs
Code zu den Artikeln auf dieser Website. Jede Karte sagt, was das Projekt gemessen hat und was Sie zum Ausführen brauchen.
Labs zu den Serien
-
Market Analyst Agent
Serie: Engineering the Agentic Stack
Ein LangGraph-Research-Agent, der Marktdaten abruft und Berichte erstellt. Die Serie nutzt ihn als Referenzimplementierung für Reasoning, Memory, Tools, Guardians und Runtime.
Ergebnis: Kein Benchmark. Die Tests prüfen Tool Calls auf synthetischen Marktdaten und wie der Guardian Trades zur Freigabe weiterleitet.
Ausführen:
uv run pytest tests/test_tools.pynutzt synthetische Daten und braucht kein Model. Eine vollständige Analyse braucht Python 3.13+, Docker sowie API-Schlüssel für Model und Suche und verursacht kostenpflichtige Model-Aufrufe. -
Agent Harness Lab
Serie: Building and Evaluating Agent Harnesses
Ein LangChain-Support-Agent, der Erstattungen, Lieferfragen und Kontoänderungen bearbeitet. Spec-Dateien schalten Harness-Komponenten ein und aus, sodass zwei Konfigurationen auf denselben Aufgaben laufen.
Ergebnis: Mit
gpt-6-lunabestanden beide Specs 12 von 12 eigenen State-Prüfungen. Die Spec mit Schema-Guided Reasoning und dem Jev Write Guard kostete etwa 2,2-mal so viel und dauerte etwa doppelt so lange. Bei acht Retail-Aufgaben aus τ³-bench bestand die Spec mit Guard 6 und die einfache Spec 7, aber die fehlgeschlagenen Aufgaben wechselten zwischen den Läufen, daher spricht dieser Abstand für keine der beiden Specs.Ausführen:
make testläuft offline.make a1-customundmake a1-tau3rufen Models über OpenRouter auf und brauchen einen API-Schlüssel. -
Recursive Harness Engineering Lab
Serie: Recursive Harness Engineering
Ein LLM schlägt Änderungen an einem Memory Tool vor, deterministische Python-Tests prüfen jede Änderung an 20 synthetischen Szenarien, und die Testergebnisse bestimmen den nächsten Vorschlag.
Ergebnis: Drei Kampagnen starteten bei 13 von 20 und erreichten alle 20 von 20 mit denselben drei Patches, mit 12 Model-Aufrufen für etwa 0,04 USD. Ein Durchlauf über alle 384 Konfigurationen lief in unter einer Sekunde und fand 16, die bestehen, daher brauchte diese Suche kein LLM.
Ausführen:
lab verifyundlab serveprüfen die aufgezeichnete Studie ohne API-Schlüssel. Eine neue Kampagne brauchtOPENAI_API_KEYund das Flag--live.
Weitere Labs
-
RAG Evals Demo
Notebooks und Module, die Metriken für Retrieval, Reranking und Generierung auf dem SciFact-Korpus berechnen, dazu ein Durchlauf über Einstellungen für Chunking, Embedding und LLM. Qdrant läuft eingebettet, daher brauchen Sie kein Docker.
Ergebnis: Es wird kein SciFact-Benchmark berichtet. Unit-Tests fixieren die durchgerechneten Beispiele des Artikels, etwa Recall@5 = 0.750, MRR = 0.625 und nDCG@5 = 0.627, sodass Sie jede Metrik mit einer Handrechnung abgleichen können.
Ausführen:
make evalführt die Suite aus.make benchmarkruft gehostete GPT-, Claude- und Gemini-Models auf und braucht deren API-Schlüssel. -
TypeScript Agent Service
Ein pnpm-Monorepo für Python-ML-Engineers, die TypeScript ausliefern müssen: zwei Implementierungen des Agent Loop, eine Streaming-API, Run-Historie in Postgres, ein Worker und ein MCP-Server.
Ergebnis: 40 Tests, davon laufen 36 ohne Postgres oder API-Schlüssel. Die Tests des Agent Loop sind in unter einer Sekunde ohne Netzwerk fertig.
Ausführen: Node 24 und pnpm.
pnpm demobraucht keinen API-Schlüssel, keine Datenbank und kein Docker. Die echte API brauchtOPENAI_API_KEYund Postgres in Docker. -
Search Ranking Stack
BM25, Dense Retrieval, Hybrid Fusion, Cross-Encoder-Reranking und LLM-Reranking auf einer Stichprobe von Amazon-ESCI-Produktsuchdaten, Stufe für Stufe gemessen.
Ergebnis: NDCG@10 liegt bei 0.585 für BM25, 0.611 für Dense Retrieval und 0.628 für Hybrid Fusion, die damit jede der beiden Methoden allein übertrifft. Recall@100 steht nach dem Retrieval fest (0.842 für Hybrid), und spätere Stufen können ihn nicht erhöhen.
Ausführen:
uv sync, dannuv run download-data(2,5 GB Download, 5 MB Stichprobe). Die LLM-Stufe läuft über Ollama, die Anthropic API oder ein lokales Qwen-Model. -
Model Compression Demo
Eine CLI, die die LLM-Quantization für ein gegebenes Model und eine Zielhardware plant und dann Rezepte, Dry Runs, Serving-Befehle und Benchmark-Pläne für vLLM, LLM Compressor und TensorRT-LLM ausgibt.
Ergebnis: Kein gemessenes Ergebnis. Die Benchmark-Zahlen im Artikel stammen von anderen Teams; die Demo gibt Ihnen die Befehle, um selbst zu messen.
Ausführen:
uv run python demo.py planund die anderen Planungsbefehle brauchen keine GPU. Quantization-, Serving- und Qualitätsläufe brauchen eine GPU und vLLM.