Evaluation von AI Agents: Phoenix, LangSmith und DeepEval
Automatische Übersetzung
Dieser Artikel wurde automatisch aus der englischen Originalversion übersetzt.
Kein Tool für die Evaluation von Agents kann die Testplanung ersetzen. Beginnen Sie mit den Fehlern, die das Produkt erkennen muss: falsche Antworten, ungeeignete Tool-Auswahl, ungültige Argumente oder unsichere Seiteneffekte. Prüfen Sie außerdem unnötige Schritte sowie Regressionen bei Latency und Kosten. Wählen Sie anschließend das Tool danach aus, wo diese Tests ausgeführt werden müssen.
Verwenden Sie Phoenix, wenn offenes Tracing und Self-Hosting wichtig sind. Verwenden Sie LangSmith, wenn Datasets, Traces, Annotation und Experimente einen gemeinsamen verwalteten Workflow bilden sollen. Verwenden Sie DeepEval, wenn die Evaluation wie Tests in einer Python-CI-Pipeline aussehen soll. Ergänzen Sie Promptfoo für eine lokale CLI, Matrix-Tests und Red-Team-Fälle.
Wählen Sie danach aus, wo die Tests laufen, welche Schritte Sie untersuchen müssen und ob die Evaluationsdaten in Ihrer Umgebung bleiben müssen.
Entscheidungstabelle
| Bedarf | Ausgangspunkt | Warum |
|---|---|---|
| OpenTelemetry-Traces und Self-Hosting | Phoenix | Open-Source-Tracing, Evaluationen, Datasets und Experimente verwenden OpenTelemetry- und OpenInference-Konventionen. |
| Verwaltete Traces, Datasets und Prüfung | LangSmith | Es evaluiert Trajektorien und finale Antworten und kann mit Agents außerhalb von LangChain arbeiten. |
| Python-Tests und CI-Prüfungen | DeepEval | End-to-End- und komponentenbezogene Agent-Evaluation passen zu einem testorientierten Workflow. |
| Lokale Matrix-Tests und Red Teaming | Promptfoo | Die Open-Source-CLI und -Bibliothek führen wiederholbare Evaluationen und Sicherheitsfälle in der CI aus. |
| Produktspezifische Richtlinien- oder Tool-Prüfungen | Benutzerdefinierte Evaluators | Generische Judges kennen Ihre Berechtigungen, irreversiblen Aktionen, Budgets oder Geschäftsinvarianten nicht. |
Schritte und Ergebnis evaluieren
Eine Trajektorie ist die Folge von Model-Entscheidungen und Tool Calls in einem Run. Eine korrekte finale Antwort kann Fehler in diesen Schritten verbergen. Ein Agent kann das falsche Tool aufrufen, unnötige Retries durchführen, vertrauliche Argumente offenlegen oder ohne Belege zu einer plausiblen Antwort gelangen. Umgekehrt sollte eine andere, aber gültige Tool-Sequenz nicht allein deshalb fehlschlagen, weil sie von einem Referenz-Trace abweicht.
Führen Sie separate Checks durch für:
- Korrektheit der finalen Antwort und Belege für die Antwort
- Tool-Auswahl und Gültigkeit der Argumente
- erforderliche, verbotene oder wiederholte Aktionen
- Richtlinienentscheidungen und Freigabegrenzen
- Effizienz der Trajektorie, Latency und Kosten
- Wiederherstellung nach Tool-Fehlern oder Teilergebnissen
Verwenden Sie nach Möglichkeit deterministische Assertions. Setzen Sie Model Judges für semantische Fragen ein, kalibrieren Sie sie anhand geprüfter Beispiele und speichern Sie Model und Prompt des Judges mit jedem Ergebnis.
Testen Sie beispielsweise einen Agenten zur Bestellstatusabfrage mit einem Benutzer, der keinen Zugriff auf die angefragte Bestellung hat. Prüfen Sie, dass der Agent weder Bestelldetails zurückgibt noch ein schreibendes Tool aufruft. Auch eine höfliche abschließende Ablehnung würde den Test nicht bestehen, wenn ein früherer Schritt den vertraulichen Datensatz offengelegt hat.
Ein praktischer erster Stack
- Erfassen Sie im Anwendungscode, der Model und Tools ausführt, eine Request-ID, das ausgewählte Tool, Argumente mit entfernten vertraulichen Angaben, das Ergebnis und die Dauer.
- Machen Sie Fehler aus der Produktion zu einem kleinen Regression-Dataset.
- Ergänzen Sie deterministische Checks für Schemas, verbotene Aktionen, Budgets und erforderliche Belege.
- Ergänzen Sie einen kalibrierten semantischen Judge für Ergebnisse, die sich nicht durch Regeln bewerten lassen.
- Führen Sie schnelle Fälle bei jeder Änderung und eine umfassendere Suite vor dem Release aus.
- Untersuchen Sie Stichproben von Traces aus der Produktion auf neue Fehlertypen und nehmen Sie diese in Tests auf.
Weiterführende Lektüre
- Agent Evals: Von Traces zu Testsammlungen erklärt das Evaluationsdesign hinter diesen Tools.
- Sicherheit von AI Agents behandelt Richtlinienprüfungen, die ein Evaluator beobachten, aber nicht selbst erzwingen kann.
- Agent Runtime für lang laufende AI Agents behandelt Traces und Checkpoints, die Fehler reproduzierbar machen.