¿Qué métricas debes monitorizar en un sistema de serving de LLM?
Traducción automática
Este artículo se tradujo automáticamente a partir de la versión original en inglés.
Monitoriza TTFT, TPOT, latencia total, errores y goodput visibles para el cliente, junto con las colas del servidor, las longitudes en tokens, el uso de KV cache y las interrupciones de ejecución. La utilización de GPU por sí sola no distingue el trabajo útil de la sobrecarga. Evalúa la calidad de las respuestas por separado; un servicio rápido puede devolver respuestas incorrectas.
Empieza por el resultado visible para el usuario
TTFT mide el tiempo desde el envío de la solicitud hasta el primer token de salida. TPOT mide el intervalo medio entre los tokens de salida posteriores. Para al menos dos tokens de salida:
Mide estos instantes cuando se entregan el primer y el último token de salida. Registra por separado la latencia hasta la finalización de la solicitud; los metadatos finales o la limpieza de la conexión pueden producirse después del último token. Registra también las pausas individuales en la entrega. El TPOT medio de una solicitud puede ocultar una pausa. Los fragmentos SSE pueden contener varios tokens, por lo que los intervalos entre fragmentos y entre tokens son medidas diferentes.
Presenta los percentiles de latencia por grupos de carga de trabajo relevantes, como la longitud del prompt y el modelo. Mantén unos límites de medición coherentes: las métricas del servidor excluyen parte del tiempo de red y del procesamiento del cliente.
Goodput cuenta las solicitudes por segundo que cumplen todos los SLO de serving definidos. Si el servicio completa 100 solicitudes por segundo y 40 incumplen al menos un umbral obligatorio, el goodput es de 60 solicitudes por segundo. Esto mide el rendimiento del serving, no la exactitud factual de las respuestas. DistServe utiliza goodput sujeto a restricciones de latencia para evaluar diseños de serving.
Añade las métricas que explican los fallos
La documentación de métricas de vLLM describe las solicitudes en ejecución y en espera, los histogramas de latencia, los recuentos de tokens, el uso de KV y las interrupciones de ejecución. Ajusta los paneles a la versión desplegada.
| Medición | Qué investigar cuando aumenta |
|---|---|
| Solicitudes en espera y tiempo en cola | Tasa de llegada frente a capacidad de procesamiento admitida |
| Uso de KV cache e interrupciones de ejecución | Secuencias largas, lotes activos y asignación de memoria |
| TTFT con TPOT estable | Colas, tokenización, prefill o retraso de red |
| TPOT y pausas en la entrega | Planificación de la decodificación, tráfico de memoria o almacenamiento en búfer del cliente |
| Tokens y reintentos por solicitud completada | Salidas más largas o trabajo repetido |
La métrica de tipo gauge de vLLM vllm:kv_cache_usage_perc utiliza una fracción de 0 a 1 pese a su nombre. Deriva los umbrales de alerta de las pruebas de carga y del tiempo de recuperación requerido. Mantén un pequeño conjunto de evaluaciones de calidad y trazas de fallos vinculadas a las métricas de serving.
Para conocer el diseño general, lee monitorización de sistemas LLM en la guía.