RAG-evaluatie: Ragas vs. DeepEval vs. TruLens vs. LangSmith
Automatische vertaling
Dit artikel is automatisch vertaald vanuit de oorspronkelijke Engelse versie.
Eén score kan niet verklaren of een retrieval-augmented generation (RAG)-systeem werkt. Het systeem kan falen bij het parsen van documenten, het opdelen ervan in chunks, retrieval of reranking van onderbouwing, het genereren van een antwoord, het toevoegen van citaties of het toepassen van filters. Meet elke fase afzonderlijk, zodat een regressie naar een specifiek onderdeel van de pipeline verwijst.
Begin met retrieval-metrieken op een kleine gelabelde dataset. Kies één tool voor de functies die je bestaande testprogramma mist. Ragas biedt RAG-metrieken, DeepEval biedt controles in teststijl en TruLens koppelt feedback aan afzonderlijke uitvoeringen. LangSmith is een andere optie als je traces en datasets samen wilt beheren. Voeg eigen controles toe voor productspecifieke fouten.
Kies op basis van de vereiste metrieken, integratie met het testprogramma, beoordeling van traces en de plaatsen waar evaluatiedata mogen worden verwerkt.
Beslistabel
| Behoefte | Startpunt | Waarom |
|---|---|---|
| Goedkope retrieval-regressiechecks | Lokale metrieken | Recall@k, MRR, nDCG, onterechte filteruitsluiting en de validiteit van citatie-ID’s/spans kunnen vaste labels of regels gebruiken. |
| RAG-metriekbibliotheek | Ragas | Biedt context precision, context recall, response relevancy, faithfulness en gerelateerde metrieken. |
| CI-controles voor LLM-applicaties | DeepEval | De interface in de vorm van testgevallen werkt goed wanneer evals een PR of deployment moeten laten falen. |
| Uitlegbare feedback op applicaties | TruLens | De RAG triad splitst context relevance, groundedness en answer relevance op. |
| Tracegerichte product-evals | LangSmith | Datasets, evaluators, annotaties, traces en regressieworkflows bevinden zich op één plek. |
| Domeinspecifieke kwaliteit | Eigen evals | Generieke metrieken kennen zelden je ontologie, filters, citatiebeleid, parserbeperkingen of weigeringsregels. |
Metrieken per pipelinefase
| Fase | Eerste metrieken om toe te voegen | Waarom |
|---|---|---|
| Parsen | volledigheid van extractie, behoud van tabellen, paginadekking | Een retriever kan geen tekst teruggeven die het parsen heeft weggelaten. |
| Chunking | beantwoordbaarheid met een chunk, informatieverlies bij grenzen, aandeel duplicaten | Het splitsen van gerelateerde feiten kan retrieval van voldoende context verhinderen. |
| Retrieval | Recall@k, MRR, nDCG@k, context precision, context recall | Controleer welke verwachte bronnen het antwoordmodel bereiken. |
| Reranking | Precision@1, verandering in nDCG, extra latency | Behoud een reranker wanneer een betere volgorde de extra runtime rechtvaardigt. |
| Generatie | faithfulness, groundedness, answer relevance | Faithfulness controleert ondersteuning door de context; answer relevance controleert of het antwoord de vraag behandelt. |
| Citaties | dekking van beweringen, ondersteuning door citaties, aandeel onbewezen beweringen | Een door bronnen onderbouwd antwoord zonder bruikbare citaties kan het product nog steeds laten falen. |
| Productie | aandeel terugvalprocedures, correctiegraad, p95 latency, kosten per antwoord | Offline kwaliteit is onvolledig zonder operationele telemetrie. |
Opmerkingen over de tools
Recall@k meet hoeveel als relevant gelabelde items in de eerste k resultaten voorkomen. MRR meet de positie van het eerste relevante item; nDCG houdt ook rekening met verschillende relevantieniveaus. Deze retrieval-metrieken vereisen relevantielabels. Een LLM judge die een antwoord consistent met de context vindt, kan ze niet vervangen.
Ragas biedt metrieken voor context precision, context recall, faithfulness en response relevance. De context recall vereist een referentieantwoord of referentiecontexten. Context precision heeft varianten met en zonder referenties. Faithfulness vergelijkt het antwoord met de opgehaalde context; een referentieantwoord is daarvoor niet nodig. Controleer de vereiste invoer van elke metriek voordat je een dataset voorbereidt. Kalibreer model judges aan de hand van beoordeelde voorbeelden en leg hun prompts, modelversies en kosten vast.
DeepEval past goed bij engineering-workflows waarin evaluatie zich als tests moet gedragen. Het is nuttig voor CI-regressiechecks, vooral voor bekende foutgevallen. De waarschuwing is dat evals in teststijl slechts zo goed zijn als de gevallen die je onderhoudt.
TruLens werkt goed wanneer je feedbackfuncties aan applicatierecords wilt koppelen. De RAG triad is nuttig omdat deze context relevance, groundedness en answer relevance afzonderlijk houdt in plaats van ze samen te voegen tot één ondoorzichtig getal.
LangSmith is praktisch wanneer je traces, runs, datasets en reviewworkflow al in het LangChain/LangGraph-ecosysteem hebt. Het ondersteunt ook andere frameworks. Een lokale runner kan eenvoudiger zijn als alle evaluatiedata en uitvoering op je eigen machine moeten blijven.
Voeg eigen controles toe voor beperkingen die generieke metrieken niet dekken. Als je RAG-systeem documenten filtert op basis van toegangsrechten, rechtsgebied, datum, productlijn of ontologie, meet dan onterechte uitsluitingen en fouten bij de toepassing van regels rechtstreeks.
Een redelijke eerste stack
- Bouw een referentieset die belangrijke groepen zoekvragen en verwachte bron-ID’s afdekt. Enkele tientallen gevallen kunnen vroege regressies blootleggen; breid de set uit totdat betrouwbaarheidsintervallen en dekking van fouten de releasebeslissing ondersteunen.
- Volg deterministische retrieval-metrieken lokaal voordat je LLM judges toevoegt.
- Kies één bibliotheek of platform als je een groundedness judge, testintegratie of trace-review nodig hebt die je runner niet biedt.
- Gebruik deze tool samen met eigen controles voor filters, citaties, parserkwaliteit en weigeringsgedrag.
- Sla resultaten op en beoordeel steekproeven. Voeg pas een andere tool toe wanneer je een ontbrekende functie kunt benoemen.
Controleren of een citatie-ID bestaat of dat een geciteerde span voorkomt, is een deterministische test. Dit bewijst niet dat de bron de claim ondersteunt. Gebruik daarvoor beoordeelde claim-source-labels of een gekalibreerde semantische judge. Zoals de TruLens RAG triad laat zien, kan een antwoord de vraag behandelen en toch ondersteuning in de aangeleverde context missen.
Een veelgemaakte fout
Stop niet nadat je faithfulness hebt gemeten. Faithfulness stelt één beperkte vraag: komt het antwoord overeen met de opgehaalde context? De metriek kan niet aangeven of de retriever de juiste bron heeft gevonden. Ook gemiste tabellen, onjuiste permissiefilters en citaties die naar de verkeerde passage verwijzen, blijven buiten beeld.
Verder lezen
- RAG-evaluatiemetrieken bieden het volledige framework per pipelinefase.
- Zoekranking-stack behandelt het ontwerp van retrieval en reranking.
- Context engineering voor AI agents legt uit waarom het samenstellen van context onderdeel is van het systeem en niet slechts promptdecoratie.