Avaliação de RAG: Ragas vs. DeepEval vs. TruLens vs. LangSmith
Tradução automática
Este artigo foi traduzido automaticamente a partir da versão original em inglês.
Uma única pontuação não consegue explicar se um sistema de geração aumentada por recuperação (RAG) funciona. O sistema pode falhar ao analisar documentos, dividi-los em fragmentos, recuperar ou fazer reranking das evidências, gerar uma resposta, anexar citações ou aplicar filtros. Meça cada fase separadamente para que uma regressão aponte para uma parte específica do pipeline.
Comece com métricas de recuperação num pequeno dataset anotado. Escolha uma ferramenta para as funcionalidades que faltam ao seu executor de testes atual. Ragas disponibiliza métricas de RAG, DeepEval oferece verificações ao estilo de testes e TruLens associa comentários a execuções individuais. LangSmith é outra opção quando pretende reunir rastos de execução e datasets. Adicione verificações personalizadas para falhas específicas do produto.
Escolha de acordo com as métricas necessárias, a integração com o executor de testes, a revisão dos rastos de execução e os locais onde os dados de avaliação podem ser processados.
Tabela de decisão
| Necessidade | Ponto de partida | Motivo |
|---|---|---|
| Verificações económicas de regressão da recuperação | Métricas locais | Recall@k, MRR, nDCG, falsa exclusão por filtros e validade de IDs/intervalos de citações podem usar anotações fixas ou regras. |
| Biblioteca de métricas de RAG | Ragas | Disponibiliza métricas de precisão de contexto, recall de contexto, relevância da resposta, fidelidade ao contexto e outras relacionadas. |
| Controlos de CI para aplicações com LLM | DeepEval | A interface ao estilo de casos de teste funciona bem quando as avaliações devem fazer falhar um PR ou uma implementação. |
| Comentários explicáveis sobre a aplicação | TruLens | A tríade de RAG separa a relevância do contexto, a fundamentação nas fontes e a relevância da resposta. |
| Avaliações de produto centradas em rastos de execução | LangSmith | Datasets, avaliadores, anotações, rastos de execução e fluxos de regressão coexistem no mesmo local. |
| Qualidade específica do domínio | Avaliações personalizadas | As métricas genéricas raramente conhecem a sua ontologia, filtros, política de citações, restrições do analisador ou regras de recusa. |
Métricas por fase do pipeline
| Fase | Primeiras métricas a adicionar | Motivo |
|---|---|---|
| Análise | completude da extração, preservação de tabelas, cobertura de páginas | Um sistema de recuperação não pode devolver texto omitido durante a análise. |
| Divisão em fragmentos | possibilidade de responder com o fragmento, perda nas fronteiras, taxa de duplicação | Dividir factos relacionados pode impedir a recuperação de contexto suficiente. |
| Recuperação | Recall@k, MRR, nDCG@k, precisão de contexto, recall de contexto | Verifique quais das fontes esperadas chegam ao modelo que gera a resposta. |
| Reranking | Precision@1, variação de nDCG, latência adicional | Mantenha um reranker quando a melhor ordenação justificar o tempo de execução adicional. |
| Geração | fidelidade ao contexto, fundamentação nas fontes, relevância da resposta | A fidelidade ao contexto verifica o suporte no contexto; a relevância da resposta verifica se a resposta aborda a pergunta. |
| Citações | cobertura de afirmações, suporte das citações, taxa de afirmações sem suporte | Uma resposta fundamentada nas fontes sem citações úteis pode ainda falhar no produto. |
| Produção | taxa de recurso a respostas alternativas, taxa de correção, latência p95, custo por resposta | A qualidade em testes locais fica incompleta sem telemetria operacional. |
Notas sobre as ferramentas
Recall@k mede quantos elementos anotados como relevantes aparecem nos primeiros k resultados. MRR mede a posição do primeiro elemento relevante; nDCG também considera diferentes níveis de relevância. Estas métricas de recuperação precisam de anotações de relevância. Um avaliador LLM que considere uma resposta consistente com o contexto não pode substituí-las.
Ragas disponibiliza métricas de precisão de contexto, recall de contexto, fidelidade ao contexto e relevância da resposta. O seu recall de contexto requer uma resposta de referência ou contextos de referência. A precisão de contexto tem variantes com e sem referências. A fidelidade ao contexto compara a resposta com o contexto recuperado; não necessita de uma resposta de referência. Verifique os dados de entrada necessários para cada métrica antes de preparar um dataset. Calibre os avaliadores baseados em modelos com exemplos revistos e registe os seus prompts, versões dos modelos e custo.
DeepEval adapta-se a fluxos de engenharia em que a avaliação deve comportar-se como testes. É útil para verificações de regressão em CI, sobretudo em torno de casos de falha conhecidos. A ressalva é que as avaliações ao estilo de testes só são tão boas quanto os casos que mantém.
TruLens funciona bem quando pretende associar funções de retorno aos registos da aplicação. A tríade de RAG é útil porque mantém separadas a relevância do contexto, a fundamentação nas fontes e a relevância da resposta, em vez de as comprimir numa única métrica opaca.
LangSmith é prático quando os seus rastos de execução, execuções, datasets e fluxo de revisão já estão no ecossistema LangChain/LangGraph. Também suporta outros frameworks. Um executor local pode ser mais simples se todos os dados de avaliação e a execução tiverem de permanecer na sua máquina.
Adicione verificações personalizadas para as restrições que as métricas genéricas não abrangem. Se o seu sistema RAG filtrar documentos por permissões, jurisdição, data, linha de produto ou ontologia, meça diretamente as exclusões indevidas e os erros na aplicação das políticas.
Uma stack inicial razoável
- Crie um conjunto de referência que cubra segmentos de consultas importantes e os IDs das fontes esperadas. Algumas dezenas de casos podem revelar regressões iniciais; expanda-o até que os intervalos de confiança e a cobertura de falhas sustentem a decisão de publicação.
- Acompanhe localmente as métricas determinísticas de recuperação antes de adicionar avaliadores LLM.
- Escolha uma biblioteca ou plataforma se precisar de um avaliador de fundamentação nas fontes, integração com testes ou revisão de rastos de execução que o seu executor não disponibilize.
- Utilize-a com verificações personalizadas para filtros, citações, qualidade do analisador e comportamento de recusa.
- Guarde os resultados e reveja amostras. Adicione outra ferramenta apenas quando conseguir identificar uma capacidade em falta.
Verificar se existe um ID de citação ou se um intervalo citado ocorre é um teste determinístico. Isso não prova que a fonte sustenta a afirmação. Para esse efeito, utilize anotações revistas de afirmações e fontes ou um avaliador semântico calibrado. Como distingue a tríade de RAG do TruLens, uma resposta pode abordar a pergunta e, ainda assim, não ter suporte no contexto fornecido.
Um erro comum
Não pare depois de medir a fidelidade ao contexto. A fidelidade ao contexto coloca uma pergunta restrita: a resposta está de acordo com o contexto recuperado? Não consegue dizer-lhe se o sistema de recuperação encontrou a fonte correta. Também não deteta tabelas perdidas, filtros de permissões incorretos ou citações que apontam para a passagem errada.
Leitura adicional
- Métricas de avaliação de RAG apresentam o framework completo, fase a fase.
- Stack de ranking de pesquisa aborda o design de recuperação e reranking.
- Context engineering para agentes AI explica por que razão a montagem do contexto faz parte do sistema, e não é apenas decoração do prompt.