Laboratorium inżynierii AI

Kod do artykułów z tej strony. Każda karta mówi, co projekt zmierzył i czego potrzebujesz, aby go uruchomić.

Laboratoria do serii

• Market Analyst Agent

  Seria: Engineering the Agentic Stack

  Agent badawczy LangGraph, który pobiera dane rynkowe i przygotowuje raporty. Seria używa go jako implementacji referencyjnej dla rozumowania, pamięci, narzędzi, strażników i środowiska wykonawczego.

  Wynik: Brak benchmarku. Testy sprawdzają wywołania narzędzi na syntetycznych danych rynkowych oraz to, jak strażnik kieruje transakcje do zatwierdzenia.

  Uruchomienie: uv run pytest tests/test_tools.py korzysta z danych syntetycznych i nie wymaga modelu. Pełna analiza wymaga Pythona 3.13+, Dockera oraz kluczy API do modelu i wyszukiwania, a do tego wykonuje płatne wywołania modelu.

  Repozytorium · Część 1

• Agent Harness Lab

  Seria: Recursive Harness Engineering

  System docelowy do budowania i ewaluacji harnessu: asystent obsługi klienta w LangChain, który obsługuje zwroty, pytania o dostawę i zmiany w koncie. Pliki spec włączają i wyłączają komponenty; kolejny artykuł porównuje pięć projektów agentów i workflow, w tym workflow bez agenta.

  Wynik: Z gpt-6-luna oba pliki spec przeszły 12 z 12 własnych kontroli stanu. Spec z Schema-Guided Reasoning i strażnikiem zapisów Jev kosztował około 2,2 raza więcej i działał mniej więcej dwa razy dłużej. Na ośmiu zadaniach retail z τ³-bench spec ze strażnikiem przeszedł 6, a zwykły spec 7, ale nieudane zadania zmieniały się między wykonaniami, więc ta różnica nie przemawia za żadnym z nich.

  Agent czy workflow (v0.2.1-a2): Workflow bez agenta przeszedł wszystkie 16 kontroli stanu, a przegląd śladów wykonania wykazał poprawne odpowiedzi. Agent z zatwierdzaniem również przeszedł wszystkie 16 kontroli, ale odpowiedział błędnie w obu przypadkach zatwierdzonego zwrotu. Każde zadanie uruchomiono raz, a workflow napisano ze znajomością tych zadań; nie ustala to ogólnego rankingu.

  Uruchomienie: make test działa offline. make a2-matrix porównuje pięć projektów; make a1-custom i make a1-tau3 uruchamiają pierwotne eksperymenty. W tych eksperymentach modele są wywoływane przez OpenRouter, co wymaga klucza API.

  Repozytorium · Projekt harnessu (v0.1.2-a1) · Agent czy workflow

• Recursive Harness Engineering Lab

  Seria: Recursive Harness Engineering

  Mały przykład pętli ulepszania z tej serii. Niezmieniany agent LLM przeszukuje ustawienia narzędzia pamięci, deterministyczne testy w Pythonie sprawdzają każdą zmianę na 20 syntetycznych historiach, a wyniki testów pomagają wybrać kolejną propozycję. Doświadczenie nie jest przenoszone między kampaniami.

  Wynik: Trzy kampanie zaczęły od 13 z 20 i wszystkie doszły do 20 z 20 dzięki tym samym trzem poprawkom, przy 12 wywołaniach modelu za około 0,04 USD. Przegląd wszystkich 384 konfiguracji trwał poniżej sekundy i znalazł 16, które przechodzą, więc to małe wyszukiwanie nie wymagało LLM. Przegląd wykorzystywał znajomość danych testowych i nie miał takiego samego budżetu wyszukiwania jak kampanie.

  Uruchomienie: lab verify i lab serve sprawdzają zapisane badanie bez klucza API. Nowa kampania wymaga OPENAI_API_KEY i flagi --live.

  Repozytorium · Artykuł

Więcej laboratoriów

• RAG Evals Demo

  Notebooki i moduły, które obliczają metryki wyszukiwania, rerankingu i generowania na korpusie SciFact, oraz przegląd ustawień podziału na fragmenty, embeddingów i LLM. Qdrant działa w trybie wbudowanym, więc nie potrzebujesz Dockera.

  Wynik: Brak raportowanego benchmarku SciFact. Testy jednostkowe utrwalają przykłady z artykułu, takie jak Recall@5 = 0.750, MRR = 0.625 i nDCG@5 = 0.627, więc możesz porównać każdą metrykę z obliczeniem ręcznym.

  Uruchomienie: make eval uruchamia zestaw ewaluacji. make benchmark wywołuje hostowane modele GPT, Claude i Gemini i wymaga ich kluczy API.

  Repozytorium · Artykuł

• TypeScript Agent Service

  Monorepo pnpm dla inżynierów ML pracujących w Pythonie, którzy muszą dostarczać kod w TypeScript: dwie implementacje pętli agenta, strumieniowe API, historia wykonań w Postgres, worker i serwer MCP.

  Wynik: 40 testów, z których 36 działa bez Postgres i klucza API. Testy pętli agenta kończą się w niecałą sekundę bez dostępu do sieci.

  Uruchomienie: Node 24 i pnpm. pnpm demo nie wymaga klucza API, bazy danych ani Dockera. Prawdziwe API wymaga OPENAI_API_KEY i Postgres w Dockerze.

  Repozytorium · Artykuł

• Search Ranking Stack

  BM25, wyszukiwanie wektorowe, fuzja hybrydowa, reranking z cross-encoderem i reranking przez LLM na próbce danych wyszukiwania produktów Amazon ESCI, mierzone etap po etapie.

  Wynik: NDCG@10 wynosi 0,585 dla BM25, 0,611 dla wyszukiwania wektorowego i 0,628 dla fuzji hybrydowej, która wypada lepiej niż każda z tych metod osobno. Recall@100 ustala się na etapie wyszukiwania (0,842 dla wariantu hybrydowego), a późniejsze etapy nie mogą go podnieść.

  Uruchomienie: uv sync, potem uv run download-data (pobranie 2,5 GB, próbka 5 MB). Etap LLM działa przez Ollama, Anthropic API lub lokalny model Qwen.

  Repozytorium · Artykuł

• Model Compression Demo

  CLI, które planuje kwantyzację LLM dla danego modelu i sprzętu docelowego, a potem wypisuje przepisy, przebiegi próbne, polecenia udostępniania modelu i plany benchmarków dla vLLM, LLM Compressor i TensorRT-LLM.

  Wynik: Brak zmierzonego wyniku. Liczby z benchmarków w artykule pochodzą od innych zespołów; demo daje ci polecenia, którymi zmierzysz własne.

  Uruchomienie: uv run python demo.py plan i pozostałe polecenia planowania nie wymagają GPU. Kwantyzacja, udostępnianie modelu i testy jakości wymagają GPU i vLLM.

  Repozytorium · Artykuł