Welke metrieken moet je monitoren in een LLM-serving-systeem?
Automatische vertaling
Dit artikel is automatisch vertaald vanuit de oorspronkelijke Engelse versie.
Monitor TTFT, TPOT, totale latency, fouten en goodput zoals de client die waarneemt, naast serverwachtrijen, tokenlengtes, KV-cachegebruik en preëmpties. GPU-gebruik alleen maakt geen onderscheid tussen nuttig werk en overbelasting. Beoordeel antwoordkwaliteit afzonderlijk; een snelle dienst kan nog steeds onjuiste antwoorden geven.
Begin met het resultaat dat de gebruiker ziet
TTFT meet de tijd vanaf het indienen van de aanvraag tot het eerste uitvoertoken. TPOT meet het gemiddelde interval tussen de daaropvolgende uitvoertokens. Voor ten minste twee uitvoertokens:
Meet deze tijdstippen bij de aflevering van het eerste en laatste uitvoertoken. Registreer de latency tot het voltooien van de aanvraag afzonderlijk; definitieve metadata of het opruimen van de verbinding kunnen na het laatste token plaatsvinden. Registreer ook afzonderlijke onderbrekingen in de aflevering. Een gemiddelde TPOT per aanvraag kan een pauze verbergen. SSE-chunks kunnen meerdere tokens bevatten, dus intervallen tussen chunks en tussen tokens zijn verschillende metingen.
Rapporteer latencypercentielen per relevante werklastgroep, zoals promptlengte en model. Gebruik consistente begin- en eindpunten voor tijdmetingen: servermetrieken sluiten een deel van de netwerk- en clientverwerkingstijd uit.
Goodput telt aanvragen per seconde die aan alle vastgelegde serving-SLO’s voldoen. Als de dienst 100 aanvragen per seconde voltooit en 40 minstens één vereiste grenswaarde niet halen, is de goodput 60 aanvragen per seconde. Dit meet de serving-prestaties, niet de feitelijke juistheid van antwoorden. DistServe gebruikt goodput met latencybeperkingen bij het evalueren van serving-ontwerpen.
Voeg de metrieken toe die fouten verklaren
De documentatie over vLLM-metrieken beschrijft lopende en wachtende aanvragen, latencyhistogrammen, tokenaantallen, KV-gebruik en preëmpties. Stem dashboards af op de uitgerolde versie.
| Meting | Wat je moet onderzoeken als de waarde stijgt |
|---|---|
| Wachtende aanvragen en wachttijd | Aankomstsnelheid tegenover toegelaten verwerkingscapaciteit |
| KV-cachegebruik en preëmpties | Lange sequenties, actieve batches en geheugentoewijzing |
| TTFT bij stabiele TPOT | Wachtrijen, tokenization, prefill of netwerkvertraging |
| TPOT en onderbrekingen in de aflevering | Decode-planning, geheugenverkeer of buffering bij de client |
| Tokens en herhaalde pogingen per voltooide aanvraag | Langere uitvoer of herhaald werk |
De vLLM-gauge vllm:kv_cache_usage_perc gebruikt ondanks de naam een fractie van 0 tot 1. Leid alarmgrenzen af uit load tests en de vereiste hersteltijd. Koppel een kleine reeks kwaliteitsbeoordelingen en traces van fouten aan de serving-metrieken.
Lees voor het bredere ontwerp LLM-systemen monitoren in de gids.