Évaluation RAG : Ragas vs DeepEval vs TruLens vs LangSmith
Traduction automatique
Cet article a été traduit automatiquement depuis la version originale en anglais.
Un score unique ne permet pas d’expliquer si un système de génération augmentée par la recherche (RAG) fonctionne. Il peut échouer lors de l’analyse des documents, de leur découpage en fragments, de la récupération ou du reranking des éléments probants, de la génération d’une réponse, de l’ajout des citations ou de l’application des filtres. Mesurez chaque étape séparément afin qu’une régression pointe vers une partie précise du pipeline.
Commencez par les métriques de recherche sur un petit dataset annoté. Choisissez un outil pour les fonctions absentes de votre outil actuel d’exécution des tests. Ragas fournit des métriques RAG, DeepEval propose des contrôles de type test et TruLens associe des retours à chaque exécution. LangSmith est une autre option si vous souhaitez regrouper traces et datasets. Ajoutez des contrôles personnalisés pour les défaillances propres au produit.
Choisissez selon les métriques requises, l’intégration à l’outil d’exécution des tests, l’examen des traces et les lieux où le traitement des données d’évaluation est autorisé.
Tableau de décision
| Besoin | Point de départ | Pourquoi |
|---|---|---|
| Contrôles peu coûteux de régression de la recherche | Métriques locales | Recall@k, MRR, nDCG, fausses exclusions dues aux filtres et validité des IDs/passages de citation peuvent utiliser des labels ou des règles fixes. |
| Bibliothèque de métriques RAG | Ragas | Fournit notamment les métriques de précision du contexte, rappel du contexte, pertinence de la réponse et fidélité au contexte. |
| Contrôles CI pour les applications LLM | DeepEval | Son interface basée sur des cas de test convient bien lorsque les évaluations doivent faire échouer une PR ou un déploiement. |
| Retours explicables sur l’application | TruLens | La triade RAG sépare la pertinence du contexte, l’ancrage dans les sources et la pertinence de la réponse. |
| Évaluations produit centrées sur les traces | LangSmith | Datasets, évaluateurs, annotations, traces et processus de régression sont regroupés au même endroit. |
| Qualité spécifique au domaine | Évaluations personnalisées | Les métriques génériques connaissent rarement votre ontologie, vos filtres, votre politique de citation, vos contraintes d’analyse ou vos règles de refus. |
Métriques par étape du pipeline
| Étape | Premières métriques à ajouter | Pourquoi |
|---|---|---|
| Analyse | exhaustivité de l’extraction, préservation des tableaux, couverture des pages | Un système de recherche ne peut pas renvoyer un texte omis lors de l’analyse. |
| Découpage en fragments | possibilité de répondre à partir des fragments, perte aux frontières, taux de duplication | Le découpage de faits liés peut empêcher la récupération d’un contexte suffisant. |
| Recherche | Recall@k, MRR, nDCG@k, précision du contexte, rappel du contexte | Vérifiez quelles sources attendues parviennent au modèle qui produit la réponse. |
| Reranking | Precision@1, variation de nDCG, latence ajoutée | Conservez un reranker lorsque le meilleur classement justifie le temps d’exécution supplémentaire. |
| Génération | fidélité au contexte, ancrage dans les sources, pertinence de la réponse | La fidélité au contexte vérifie l’appui sur le contexte ; la pertinence de la réponse vérifie que celle-ci traite la question. |
| Citations | couverture des affirmations, support des citations, taux d’affirmations non étayées | Une réponse étayée par les sources dépourvue de citations utiles peut tout de même échouer côté produit. |
| Production | taux de recours aux réponses de remplacement, taux de correction, latence p95, coût par réponse | La qualité hors ligne est incomplète sans télémétrie opérationnelle. |
Notes sur les outils
Recall@k mesure combien d’éléments annotés comme pertinents apparaissent dans les k premiers résultats. MRR mesure le rang du premier élément pertinent ; nDCG tient aussi compte des différents niveaux de pertinence. Ces métriques de recherche nécessitent des annotations de pertinence. Un juge LLM qui estime une réponse cohérente avec le contexte ne peut pas les remplacer.
Ragas fournit les métriques de précision du contexte, rappel du contexte, fidélité au contexte et pertinence de la réponse. Son rappel du contexte nécessite une réponse de référence ou des contextes de référence. La précision du contexte possède des variantes avec ou sans références. La fidélité au contexte compare la réponse au contexte récupéré ; elle ne nécessite pas de réponse de référence. Vérifiez les données d’entrée requises par chaque métrique avant de préparer un dataset. Calibrez les juges fondés sur des modèles sur des exemples évalués manuellement et consignez leurs prompts, les versions des modèles et le coût.
DeepEval s’intègre aux processus d’ingénierie dans lesquels l’évaluation doit se comporter comme des tests. Il est utile pour les contrôles de régression en CI, notamment autour de cas d’échec connus. La réserve est que les évaluations de type test ne valent que par les cas que vous maintenez.
TruLens convient bien lorsque vous souhaitez associer des fonctions de retour aux enregistrements de l’application. La triade RAG est utile, car elle conserve séparés la pertinence du contexte, l’ancrage dans les sources et la pertinence de la réponse au lieu de les compresser en un nombre opaque.
LangSmith est pratique lorsque vos traces, exécutions, datasets et processus de revue se trouvent déjà dans l’écosystème LangChain/LangGraph. Il prend également en charge d’autres frameworks. Un outil local d’exécution peut être plus simple si toutes les données d’évaluation et l’exécution doivent rester sur votre machine.
Ajoutez des contrôles personnalisés pour les contraintes que les métriques génériques ne couvrent pas. Si votre système RAG filtre les documents selon les permissions, la juridiction, la date, la gamme de produits ou l’ontologie, mesurez directement les exclusions injustifiées et les erreurs d’application des règles.
Une première stack raisonnable
- Constituez un jeu de référence couvrant les segments de requêtes importants et les IDs de sources attendus. Quelques dizaines de cas peuvent révéler les premières régressions ; élargissez-le jusqu’à ce que les intervalles de confiance et la couverture des échecs permettent de prendre la décision de publication.
- Suivez d’abord localement les métriques déterministes de la recherche, avant d’ajouter des juges LLM.
- Choisissez une bibliothèque ou une plateforme si vous avez besoin d’un juge de l’ancrage dans les sources, d’une intégration aux tests ou d’une revue des traces absente de votre outil d’exécution.
- Utilisez-la avec des contrôles personnalisés pour les filtres, les citations, la qualité de l’analyse et le comportement de refus.
- Enregistrez les résultats et examinez des échantillons. N’ajoutez un autre outil que si vous pouvez nommer la capacité manquante.
Vérifier qu’un ID de citation existe ou qu’un passage cité apparaît bien constitue un test déterministe. Cela ne prouve pas que la source étaye l’affirmation. Pour cela, utilisez des labels affirmation-source évalués manuellement ou un juge sémantique calibré. Comme le montre la triade RAG de TruLens, une réponse peut traiter la question tout en n’étant pas étayée par le contexte fourni.
Une erreur fréquente
Ne vous arrêtez pas après avoir mesuré la fidélité au contexte. La fidélité au contexte pose une question étroite : la réponse est-elle cohérente avec le contexte récupéré ? Elle ne peut pas vous dire si le système de recherche a trouvé la bonne source. Elle ne détecte pas non plus les tableaux perdus, les filtres de permissions incorrects ni les citations renvoyant vers le mauvais passage.
Pour aller plus loin
- Métriques d’évaluation RAG présentent le framework complet, étape par étape.
- Stack de classement pour la recherche couvre la conception de la recherche et du reranking.
- Context engineering pour les agents AI explique pourquoi l’assemblage du contexte fait partie du système et ne se réduit pas à de la décoration de prompt.