Pipeline RAG em produção: que etapas devo avaliar?
Tradução automática
Este artigo foi traduzido automaticamente a partir da versão original em inglês.
Avalie separadamente a preparação dos documentos, a recuperação de evidências e a geração de respostas. Um pipeline RAG em produção deve preservar conteúdo útil das fontes, recuperar evidências permitidas e produzir uma resposta sustentada por essas evidências. A resposta final, por si só, não permite identificar que etapa falhou.
Comece com uma pergunta cujo excerto correto na fonte seja conhecido.
Verifique as evidências antes de mudar de modelo
| Etapa | O que conservar | Verificação |
|---|---|---|
| Análise e divisão em fragmentos | Revisão da fonte, página ou secção, identidade do fragmento | O texto e as tabelas necessários são preservados durante a preparação |
| Embeddings e indexação | Identidade do codificador, dimensões, metadados, permissões | As consultas usam representações compatíveis e filtros de acesso |
| Recuperação | Identidades dos candidatos, pontuações, filtros aplicados | As evidências permitidas esperadas estão presentes |
| Reranking e organização | Candidatos mantidos e removidos, entrada real do modelo | Os factos relevantes são mantidos com contexto suficiente à sua volta |
| Geração | Resposta e fontes citadas | Cada afirmação importante tem suporte |
Considere uma pergunta sobre uma exclusão de garantia num PDF. Se a análise omitiu a tabela de exclusões, mudar o gerador não a irá recuperar. Se o fragmento correto foi recuperado mas removido durante o reranking, corrija a seleção dos candidatos. Se chegou ao prompt mas a resposta o contradiz, investigue a utilização das evidências e a geração.
Acrescente etapas de recuperação para as falhas medidas
A recuperação densa ajuda com paráfrases. A recuperação esparsa ajuda com termos e identificadores exatos. A documentação de consultas híbridas do Qdrant descreve como combinar resultados de recuperação através de métodos como a fusão de posições recíprocas. Determinar se a recuperação híbrida melhora a sua tarefa continua a exigir rótulos de relevância.
O reranking pode melhorar a ordem dos candidatos, mas acrescenta processamento. Teste-o com os candidatos recuperados e inclua a latência. Inspecione também a posição dos excertos relevantes no contexto do gerador: Lost in the Middle encontrou um desempenho dependente da posição nas tarefas de contexto longo que testou.
Aplique as permissões antes de o conteúdo não autorizado das fontes chegar ao modelo e preserve a identidade da fonte até à verificação das citações. Teste as atualizações e eliminações, além da ingestão de novos conteúdos.
Para escolher entre recuperação básica, agentic ou baseada em grafos, consulte Arquitetura RAG. A secção sobre o pipeline em produção do Guia de engenharia de LLM explica as relações entre as etapas.