Evaluación de RAG: Ragas vs. DeepEval vs. TruLens vs. LangSmith
Traducción automática
Este artículo se tradujo automáticamente a partir de la versión original en inglés.
Una única puntuación no puede explicar si un sistema de generación aumentada con recuperación (RAG) funciona. Puede fallar al analizar documentos, dividirlos en fragmentos, recuperar o hacer reranking de evidencias, generar una respuesta, asociar citas o aplicar filtros. Mide cada fase por separado para que una regresión apunte a una parte concreta del pipeline.
Empieza con métricas de recuperación en un dataset pequeño y etiquetado. Elige una herramienta para las funciones que le falten a tu ejecutor de pruebas actual. Ragas proporciona métricas de RAG, DeepEval ofrece comprobaciones al estilo de pruebas y TruLens asocia comentarios a ejecuciones individuales. LangSmith es otra opción si quieres tener trazas y datasets juntos. Añade comprobaciones personalizadas para los fallos específicos de tu producto.
Elige según las métricas necesarias, la integración con el ejecutor de pruebas, la revisión de trazas y los lugares donde se permita procesar los datos de evaluación.
Tabla de decisión
| Necesidad | Punto de partida | Motivo |
|---|---|---|
| Comprobaciones económicas de regresión de la recuperación | Métricas locales | Recall@k, MRR, nDCG, exclusiones falsas por filtros y validez de los identificadores y fragmentos citados pueden usar etiquetas o reglas fijas. |
| Biblioteca de métricas de RAG | Ragas | Proporciona métricas de precisión de contexto, recall del contexto, relevancia de la respuesta, fidelidad al contexto y otras relacionadas. |
| Controles de CI para aplicaciones con LLM | DeepEval | La interfaz basada en casos de prueba funciona bien cuando las evaluaciones deben hacer fallar un PR o un despliegue. |
| Comentarios explicables de la aplicación | TruLens | La tríada de RAG separa la relevancia del contexto, la fundamentación en las fuentes y la relevancia de la respuesta. |
| Evaluaciones de producto centradas en trazas | LangSmith | Datasets, evaluadores, anotaciones, trazas y flujos de regresión conviven en un mismo entorno. |
| Calidad específica del dominio | Evaluaciones personalizadas | Las métricas genéricas rara vez conocen tu ontología, filtros, política de citas, restricciones del analizador o reglas de rechazo. |
Métricas por fase del pipeline
| Fase | Primeras métricas que añadir | Motivo |
|---|---|---|
| Análisis | completitud de extracción, preservación de tablas, cobertura de páginas | Un recuperador no puede devolver texto que el análisis haya omitido. |
| División en fragmentos | posibilidad de responder con el fragmento, pérdida de información en los límites, tasa de duplicados | Dividir hechos relacionados puede impedir recuperar suficiente contexto. |
| Recuperación | Recall@k, MRR, nDCG@k, precisión de contexto, recall del contexto | Comprueba qué fuentes esperadas llegan al modelo que genera la respuesta. |
| Reranking | Precision@1, cambio en nDCG, latencia añadida | Mantén un reranker cuando la mejora del orden justifique el tiempo de ejecución añadido. |
| Generación | fidelidad al contexto, fundamentación en las fuentes, relevancia de la respuesta | La fidelidad al contexto comprueba el soporte en el contexto; la relevancia de la respuesta comprueba si la respuesta aborda la pregunta. |
| Citas | cobertura de afirmaciones, soporte de citas, tasa de afirmaciones sin soporte | Una respuesta fundamentada en las fuentes sin citas útiles también puede hacer que el producto falle. |
| Producción | tasa de uso de respuestas alternativas, tasa de corrección, latencia p95, coste por respuesta | La calidad en pruebas offline no está completa sin telemetría operativa. |
Notas sobre las herramientas
Recall@k mide cuántos elementos etiquetados como relevantes aparecen entre los primeros k resultados. MRR mide la posición del primer elemento relevante; nDCG también tiene en cuenta distintos niveles de relevancia. Estas métricas de recuperación necesitan etiquetas de relevancia. Un juez LLM que considere una respuesta coherente con el contexto no puede sustituirlas.
Ragas proporciona métricas de precisión de contexto, recall del contexto, fidelidad al contexto y relevancia de la respuesta. Su recall del contexto requiere una respuesta de referencia o contextos de referencia. La precisión de contexto tiene variantes con y sin referencias. La fidelidad al contexto comprueba la respuesta frente al contexto recuperado; no necesita una respuesta de referencia. Comprueba las entradas necesarias para cada métrica antes de preparar un dataset. Calibra los jueces basados en modelos con ejemplos revisados y registra sus prompts, versiones de modelo y coste.
DeepEval encaja en flujos de trabajo de ingeniería en los que la evaluación debe comportarse como un conjunto de pruebas. Resulta útil para comprobaciones de regresión en CI, especialmente en torno a casos de fallo conocidos. La precaución es que las evaluaciones con estilo de prueba solo son tan buenas como los casos que mantengas.
TruLens funciona bien cuando quieres funciones de comentarios asociadas a los registros de la aplicación. La tríada de RAG es útil porque mantiene separadas la relevancia del contexto, la fundamentación en las fuentes y la relevancia de la respuesta, en lugar de comprimirlas en un único número opaco.
LangSmith resulta práctico cuando tus trazas, ejecuciones, datasets y flujo de revisión ya están en el ecosistema de LangChain/LangGraph. También admite otros frameworks. Un ejecutor local puede ser más sencillo si todos los datos de evaluación y la ejecución deben permanecer en tu máquina.
Añade comprobaciones personalizadas para las restricciones que las métricas genéricas no cubren. Si tu sistema RAG filtra documentos por permisos, jurisdicción, fecha, línea de producto u ontología, mide directamente las exclusiones indebidas y los errores en la aplicación de las políticas.
Un primer stack razonable
- Crea un conjunto de referencia que cubra los grupos de consultas importantes y los IDs de fuente esperados. Unas pocas decenas de casos pueden revelar regresiones iniciales; amplíalo hasta que los intervalos de confianza y la cobertura de fallos respalden la decisión de publicación.
- Registra localmente las métricas deterministas de recuperación antes de añadir jueces basados en LLM.
- Elige una biblioteca o plataforma si necesitas un juez de fundamentación en las fuentes, integración con pruebas o revisión de trazas que tu ejecutor no ofrezca.
- Úsala junto con comprobaciones personalizadas para filtros, citas, calidad del analizador y comportamiento de rechazo.
- Guarda los resultados y revisa muestras. Añade otra herramienta solo cuando puedas identificar una funcionalidad que falte.
Comprobar que existe un ID de cita o que aparece un fragmento de texto citado es una prueba determinista. No demuestra que la fuente respalde la afirmación. Para eso, usa etiquetas revisadas de afirmación-fuente o un juez semántico calibrado. Como muestra la tríada de RAG de TruLens, una respuesta puede abordar la pregunta y, aun así, carecer de soporte en el contexto proporcionado.
Un error habitual
No te detengas después de medir la fidelidad al contexto. La fidelidad al contexto plantea una pregunta concreta: ¿coincide la respuesta con el contexto recuperado? No puede decirte si el recuperador encontró la fuente correcta. Tampoco detecta tablas perdidas, filtros de permisos incorrectos ni citas que apunten al pasaje equivocado.
Lecturas recomendadas
- Métricas de evaluación de RAG ofrece el marco completo, fase por fase.
- Stack de ranking de búsqueda cubre el diseño de la recuperación y el reranking.
- Context engineering para agentes AI explica por qué el ensamblado del contexto forma parte del sistema y no es simple decoración del prompt.