AI Engineering Labs

Код к статьям этого сайта. В каждой карточке указано, что измерял проект и что нужно для его запуска.

Лабы к сериям

• Market Analyst Agent

  Серия: Engineering the Agentic Stack

  Исследовательский агент на LangGraph, который получает рыночные данные и готовит отчёты. В серии он служит референсной реализацией для ризонинга, памяти, инструментов, guardians и рантайма.

  Результат: Бенчмарка нет. Тесты проверяют tool calls на синтетических рыночных данных и то, как guardian направляет сделки на одобрение.

  Запуск: uv run pytest tests/test_tools.py работает на синтетических данных и не требует модели. Для полного анализа нужны Python 3.13+, Docker и API-ключи для модели и поиска, при этом выполняются платные вызовы модели.

  Репозиторий · Часть 1

• Agent Harness Lab

  Серия: Building and Evaluating Agent Harnesses

  Агент поддержки на LangChain, который обрабатывает возвраты, вопросы о доставке и изменения аккаунта. Spec-файлы включают и выключают компоненты харнесса, поэтому две конфигурации запускаются на одних и тех же задачах.

  Результат: С gpt-6-luna обе спецификации прошли 12 из 12 собственных проверок состояния. Спецификация со Schema-Guided Reasoning и проверкой записи через Jev стоила примерно в 2.2 раза дороже и работала примерно вдвое дольше. На восьми retail-задачах из τ³-bench спецификация с проверкой прошла 6, а базовая прошла 7, но проваленные задачи менялись от запуска к запуску, поэтому этот разрыв не говорит в пользу ни одной из спецификаций.

  Запуск: make test работает офлайн. make a1-custom и make a1-tau3 вызывают модели через OpenRouter и требуют API-ключ.

  Репозиторий · Статья

• Recursive Harness Engineering Lab

  Серия: Recursive Harness Engineering

  LLM предлагает изменения инструмента памяти, детерминированные тесты на Python проверяют каждое изменение на 20 синтетических историях, и результаты тестов определяют следующее предложение.

  Результат: Три кампании стартовали с 13 из 20 и все дошли до 20 из 20 с одними и теми же тремя патчами, потратив 12 вызовов модели примерно на USD 0.04. Перебор всех 384 конфигураций занял меньше секунды и нашёл 16 проходящих, так что для этого поиска LLM не требовалась.

  Запуск: lab verify и lab serve проверяют записанное исследование без API-ключа. Для новой кампании нужны OPENAI_API_KEY и флаг --live.

  Репозиторий · Статья

Другие лабы

• RAG Evals Demo

  Ноутбуки и модули, которые считают метрики retrieval, реранкинга и генерации на корпусе SciFact, плюс перебор настроек чанкинга, эмбеддингов и LLM. Qdrant работает во встроенном режиме, поэтому Docker не нужен.

  Результат: Бенчмарк на SciFact не приводится. Юнит-тесты фиксируют разобранные в статье примеры, например Recall@5 = 0.750, MRR = 0.625 и nDCG@5 = 0.627, так что каждую метрику можно сверить с ручным расчётом.

  Запуск: make eval запускает набор проверок. make benchmark вызывает облачные модели GPT, Claude и Gemini и требует их API-ключи.

  Репозиторий · Статья

• TypeScript Agent Service

  Монорепозиторий на pnpm для ML-инженеров на Python, которым нужно выпускать код на TypeScript: две реализации агентного цикла, стриминговый API, история запусков в Postgres, воркер и MCP-сервер.

  Результат: 40 тестов, из них 36 работают без Postgres и API-ключа. Тесты агентного цикла проходят меньше чем за секунду без сети.

  Запуск: Нужны Node 24 и pnpm. pnpm demo не требует API-ключа, базы данных или Docker. Для настоящего API нужны OPENAI_API_KEY и Postgres в Docker.

  Репозиторий · Статья

• Search Ranking Stack

  BM25, dense retrieval, гибридное слияние, реранкинг cross-encoder и реранкинг с помощью LLM на выборке данных товарного поиска Amazon ESCI с измерениями на каждом этапе.

  Результат: NDCG@10 равен 0.585 для BM25, 0.611 для dense retrieval и 0.628 для гибридного слияния, которое лучше каждого метода по отдельности. Recall@100 фиксируется на этапе retrieval (0.842 для гибридного варианта), и следующие этапы не могут его поднять.

  Запуск: uv sync, затем uv run download-data (загрузка 2.5 GB, выборка 5 MB). Этап с LLM работает через Ollama, Anthropic API или локальную модель Qwen.

  Репозиторий · Статья

• Model Compression Demo

  CLI, который планирует квантизацию LLM для заданной модели и целевого оборудования, а затем выводит рецепты, пробные запуски, команды сервинга и планы бенчмарков для vLLM, LLM Compressor и TensorRT-LLM.

  Результат: Измеренных результатов нет. Цифры бенчмарков в статье получены другими командами; демо даёт команды, чтобы измерить свои.

  Запуск: uv run python demo.py plan и другие команды планирования не требуют GPU. Для квантизации, сервинга и проверки качества нужны GPU и vLLM.

  Репозиторий · Статья