Slava Dubrov Edge of Context
Szukaj

Granice kontekstu

Praktyczne notatki terenowe dotyczące elementów systemów AI, które muszą sprawdzać się na produkcji: agentów, ewaluacji, bezpieczeństwa, pamięci, wyszukiwania, inżynierii modeli i infrastruktury.

Recursive Harness Engineering wyznacza jedną ścieżkę: zbudować harness, niezależnie ocenić jego zachowanie, a następnie zautomatyzować wyszukiwanie ulepszeń. Pierwsze rozdziały przedstawiają podstawy harness engineering potrzebne do rekurencyjnego ulepszania.

Mały eksperyment z narzędziem pamięci wprowadza pętlę ulepszania; później asystent obsługi klienta służy jako większy system docelowy. Praktyczna zasada: wypróbuj workflow przed dodaniem agenta i zwykłe metody przeszukiwania przed użyciem LLM do wyszukiwania ulepszeń. Dalsze eksperymenty sprawdzą, czy zgromadzone doświadczenie pomaga optymalizatorowi w nowych zadaniach.

Zacznij od jednej z serii poniżej albo przeglądaj wszystkie artykuły według tematu.

Serie · Części: 3

Recursive Harness Engineering

Najpierw harness engineering, potem rekursyjne ulepszanie.

Otwórz lab →

Przewiń części →

  1. 01 Recursive harness engineering: od śladów do lepszej pamięci 18 min
  2. 02 Projektowanie harnessu agenta: od zadania do architektury 25 min
  3. 03 Agent czy przepływ pracy: pięć projektów jednego asystenta wsparcia 20 min

Serie · Części: 6

Engineering the Agentic Stack

Po kolei. Zacznij od pętli.

Otwórz lab →

Przewiń części →

  1. 01 Pętle rozumowania agentów AI: ReAct, ReWOO, Plan-and-Execute 13 min
  2. 02 Architektura pamięci agenta AI: zapisy checkpoint i bazy wektorowe 25 min
  3. 03 Korzystanie z narzędzi przez agentów AI: MCP, CLI, Skills i wykonywanie kodu 21 min
  4. 04 Bezpieczeństwo agentów AI: uprawnienia, sandboksy i zagrożenia MCP 24 min
  5. 05 Środowisko uruchomieniowe długotrwałych agentów AI: sesje i checkpointy 28 min
  6. 06 Inżynieria harnessu dla agentów AI: weryfikacja ukończenia zadania 19 min

Przewodniki i szybkie odpowiedzi

Wszystkie artykuły 36

  7. Agenci AI

    Pamięć agenta AI: stan sterowany schematem i proweniencja

    Dlaczego produkcyjni agenci AI potrzebują pamięci sterowanej schematem, z ważnością czasową, proweniencją i ustrukturyzowaną obsługą konfliktów, zamiast wyszukiwania surowego tekstu w wektorach.

    · 16 min

  18. Systemy wyszukiwania i przetwarzania języka

    Stack rankingowy wyszukiwania: BM25, embeddings i reranking

    Jak zbudować stack rankingowy wyszukiwania z BM25, gęstymi embeddings, hybrydowym RRF, etapem reranking z modelem cross-encoder i etapem listwise reranking z LLM na zbiorze Amazon ESCI.

    · 27 min

  23. Agenci AI · Inżynieria modeli

    Schema-Guided Reasoning: vLLM, XGrammar i Pydantic

    Jak Schema-Guided Reasoning wykorzystuje vLLM, XGrammar, schematy Pydantic i constrained decoding, aby wymusić strukturalnie poprawne dane wyjściowe LLM.

    · 15 min

  24. Inżynieria modeli · Infrastruktura AI

    Przewodnik po LoRAX: adaptery LoRA na Kubernetes w dużej skali

    Oceń i wdróż LoRAX do obsługi długiego ogona adapterów LoRA: aktualne API, zabezpieczenie chartu Kubernetes, bezpieczeństwo adapterów, routing z uwzględnieniem cache i kompromisy względem vLLM.

    · 15 min

  27. Agenci AI · Narzędzia programistyczne

    Serwer MCP: Python, uv i FastMCP

    Zbuduj własny serwer MCP z uv i FastMCP, udostępnij narzędzia ML do feature store, przetestuj je lokalnie i połącz serwer z Claude Desktop.

    · 9 min

  30. Inżynieria modeli · Narzędzia programistyczne

    Lokalne LLM na macOS: Ollama, LM Studio, MLX, llama.cpp

    Porównanie lokalnych narzędzi LLM na macOS pod kątem interfejsu, formatu modelu, zapasu pamięci, udostępniania API i pracy deweloperskiej na Apple Silicon.

    · 12 min

  34. Inżynieria modeli · Infrastruktura AI

    Skalowanie modeli LLM na wielu GPU i wielu węzłach

    Jak skalować modele LLM na wiele GPU i węzłów za pomocą równoległości danych, shardowanej, tensorowej, potokowej, kontekstowej i ekspertów oraz które frameworki ją implementują.

    · 18 min