Evaluación de agentes de AI: Phoenix, LangSmith y DeepEval
Traducción automática
Este artículo se tradujo automáticamente a partir de la versión original en inglés.
Ninguna herramienta de evaluación de agentes puede sustituir el diseño de las pruebas. Empieza por los fallos que el producto debe detectar: respuestas incorrectas, una mala selección de herramientas, argumentos no válidos o efectos secundarios inseguros. Comprueba también los pasos innecesarios y las regresiones de latencia y coste. Después, elige la herramienta que encaje con el lugar donde deban ejecutarse esas pruebas.
Usa Phoenix cuando sean importantes el registro abierto de trazas y el alojamiento propio. Usa LangSmith cuando los datasets, trazas, la anotación y los experimentos deban compartir un único flujo de trabajo gestionado. Usa DeepEval cuando la evaluación deba integrarse como pruebas en un pipeline de CI basado en Python. Añade Promptfoo para disponer de una CLI local, pruebas matriciales y casos de red teaming.
Elige según dónde se ejecuten las pruebas, qué pasos necesites inspeccionar y si los datos de evaluación deben permanecer en tu entorno.
Tabla de decisión
| Necesidad | Punto de partida | Motivo |
|---|---|---|
| Trazas de OpenTelemetry y alojamiento propio | Phoenix | El registro de trazas de código abierto, las evaluaciones, los datasets y los experimentos utilizan las convenciones de OpenTelemetry y OpenInference. |
| Trazas, datasets y revisión gestionados | LangSmith | Evalúa trayectorias y respuestas finales, y puede trabajar con agentes ajenos a LangChain. |
| Pruebas en Python y controles de CI | DeepEval | La evaluación de agentes end-to-end y a nivel de componente encaja en un flujo de trabajo orientado a pruebas. |
| Pruebas matriciales locales y red teaming | Promptfoo | La CLI y la biblioteca de código abierto ejecutan evaluaciones repetibles y casos de seguridad en CI. |
| Comprobaciones de políticas o herramientas específicas del producto | Evaluadores personalizados | Los jueces genéricos no conocen tus permisos, acciones irreversibles, presupuestos ni invariantes de negocio. |
Evalúa los pasos y el resultado
Una trayectoria es la secuencia de decisiones del modelo y tool calls durante una ejecución. Una respuesta final correcta puede ocultar errores en esos pasos. Un agente puede llamar a la herramienta equivocada, reintentar sin necesidad, exponer argumentos sensibles o llegar a una respuesta plausible sin evidencias. A la inversa, una secuencia de herramientas distinta pero válida no debería fallar solo porque difiera de una traza de referencia.
Mantén comprobaciones independientes para:
- la corrección de la respuesta final y el respaldo de las evidencias
- la selección de herramientas y la validez de los argumentos
- las acciones obligatorias, prohibidas o repetidas
- las decisiones de política y los límites de aprobación
- la eficiencia de la trayectoria, la latencia y el coste
- la recuperación tras errores de herramientas o resultados parciales
Usa aserciones deterministas siempre que sea posible. Reserva los jueces basados en modelos para las cuestiones semánticas, calibra sus resultados con ejemplos revisados y guarda el modelo juez y el prompt junto con cada resultado.
Por ejemplo, prueba un agente de consulta del estado de pedidos con un usuario que no tenga acceso al pedido solicitado. Comprueba que no devuelva los detalles del pedido ni llame a una herramienta de escritura. Una negativa final educada tampoco pasaría la prueba si un paso anterior hubiera revelado el registro privado.
Un stack inicial práctico
- En el código de la aplicación que ejecuta el modelo y las herramientas, registra un ID de solicitud, la herramienta seleccionada, los argumentos con los datos sensibles eliminados, el resultado y la duración.
- Convierte los fallos de producción en un pequeño dataset de regresión.
- Añade comprobaciones deterministas para los esquemas, las acciones prohibidas, los presupuestos y las evidencias obligatorias.
- Añade un juez semántico calibrado para los resultados que no puedan puntuar las reglas.
- Ejecuta los casos rápidos con cada cambio y una suite más amplia antes del lanzamiento.
- Toma muestras de las trazas de producción para detectar nuevos modos de fallo y convertirlos en pruebas.
Lecturas recomendadas
- Evaluación de agentes: de las trazas a los conjuntos de pruebas explica el diseño de evaluación en el que se basan estas herramientas.
- Seguridad de los agentes de AI aborda las comprobaciones de políticas que un evaluador debería observar, pero no puede imponer por sí mismo.
- Runtime de agentes de AI de larga duración aborda las trazas y checkpoints que permiten reproducir los fallos.