Schnelle Antworten für AI-Engineering-Entscheidungen

Wählen Sie die Frage aus, die Sie beantworten müssen. Jeder Leitfaden gibt eine erste Empfehlung, erklärt, wann sie sich ändert, und verlinkt auf einen ausführlichen Artikel. Diese Entscheidungen sollten Sie für Ihre eigene Aufgabe testen; es handelt sich nicht um ein Ranking allgemein überlegener Lösungen.

AI Agents

• Brauche ich einen Agenten oder einen festen Workflow?

  Verwenden Sie einen festen Workflow, wenn Sie die Schritte und Verzweigungen definieren können. Ziehen Sie vom Model ausgewählte Schritte in Betracht, wenn feste Regeln die Aufgabe nicht zuverlässig bewältigen.

• Mit welchem Agent Framework sollte ich beginnen?

  Treffen Sie Ihre Wahl anhand der Kontrolle, die Sie über Schritte, gespeicherten Fortschritt und Wiederherstellung benötigen. Vergleichen Sie ein kleines SDK mit einem graphbasierten Workflow, bevor Sie weitere Komponenten hinzufügen.

• Welches Tool für Agent-Evaluation sollte ich verwenden?

  Beginnen Sie mit der Aufgabe: Ausführungen untersuchen, Änderungen testen oder Tool-Aktionen prüfen. Ein Tool kann Sie beim Ausführen Ihrer Tests unterstützen; eine erfolgreiche Aufgabe müssen Sie dennoch selbst definieren.

• Wie sollte ich einen AI Agenten absichern?

  Beschränken Sie, was seine Tools tun können. Prüfen Sie Berechtigungen vor Aktionen, isolieren Sie die Codeausführung und verlangen Sie eine Freigabe, wenn die Konsequenzen dies erfordern.

• Sollte ich Function Calling, MCP, eine CLI oder Skills verwenden?

  Diese Ansätze dienen unterschiedlichen Zwecken und können zusammen eingesetzt werden. Entscheiden Sie separat, wie Sie ein Tool verfügbar machen und welche Anweisungen erklären, wann es verwendet werden soll.

• Wann hilft schemagesteuertes Reasoning?

  Verwenden Sie es, wenn Sie Zwischenfelder prüfen müssen, bevor Sie eine Aktion ausführen. Eine gültige Struktur benötigt weiterhin Prüfungen der Belege und Anwendungsregeln.

Retrieval und Dokumente

• Welches NER Model passt zu meinen Entitäten?

  Beginnen Sie mit Ihren Bezeichnungen und Beispielen. Stabile Bezeichnungen, wechselnde Bezeichnungen, überlappende Textabschnitte und Fakten, die über mehrere Sätze hinweg erschlossen werden, erfordern unterschiedliche Tests.

• Welches OCR Tool passt zu meinen Dokumenten?

  Testen Sie die benötigte Ausgabe: Text, Lesereihenfolge, Tabellen oder bestimmte Felder. Saubere Scans und komplexe Seitenlayouts können unterschiedliche Ansätze erfordern.

• Brauche ich einfaches RAG, agentic RAG oder GraphRAG?

  Beginnen Sie mit einem Retrieval-Durchlauf. Ziehen Sie wiederholte Suche in Betracht, wenn spätere Fragen von früheren Ergebnissen abhängen, oder GraphRAG, wenn Sie Zusammenfassungen über eine Sammlung hinweg benötigen.

• Welche RAG-Evaluation-Tools und Metriken sollte ich verwenden?

  Prüfen Sie die abgerufenen Belege getrennt von der generierten Antwort. Wählen Sie Metriken anhand des Fehlers, den Sie finden müssen, und der Referenzdaten, die Ihnen vorliegen.

• Wann sollte ich Embeddings oder einen Reranker hinzufügen?

  Messen Sie zunächst eine Referenz für die Stichwortsuche. Fügen Sie eine weitere Stufe nur hinzu, wenn sie ein gemessenes Retrieval- oder Ranking-Problem innerhalb Ihres Zeitbudgets behebt.

Models und lokale Tools

• Welches lokale LLM Tool sollte ich unter macOS verwenden?

  Wählen Sie anhand Ihrer Arbeitsweise: Desktop-Oberfläche, lokale API oder Python-Code. Prüfen Sie, ob das ausgewählte Model tatsächlich auf Ihrem Mac läuft.

• Welches LLM-Quantization-Format sollte ich verwenden?

  Prüfen Sie zuerst, was Ihre Runtime und Ihre Hardware unterstützen. Vergleichen Sie anschließend Speichernutzung, Geschwindigkeit und Qualität für Ihre Aufgabe.

• Sollte ich Prompts verwenden, RAG einsetzen oder Fine-Tuning durchführen?

  Verwenden Sie zunächst Prompts für Anweisungen, Retrieval für fehlendes Wissen und Fine-Tuning für Verhalten, das Sie anhand von Beispielen demonstrieren können. Möglicherweise benötigen Sie mehr als einen Ansatz.

Fragen zum LLM Engineering

Diese Antworten behandeln die 45 Themen im LLM Engineering Guide. Beginnen Sie mit einer Frage und folgen Sie dann dem Link zum Leitfaden, um Gleichungen, Diagramme und weiteren Kontext zu erhalten. Die vorhandene Antwort zu Quantization finden Sie oben unter Models und lokale Tools.

GPU-Hardware

• Warum ist LLM Decode durch Speicherbandbreite und Prefill durch Rechenleistung begrenzt?
• Wie die GPU-Speicherhierarchie die LLM-Inference-Geschwindigkeit beeinflusst
• Welche GPU-Hardwarespezifikationen sind für LLM Serving relevant?

Inference-Latency und Speicher

• Wie Sie LLM Latency mit TTFT, TPOT und P99 messen
• LLM Throughput und Goodput: Welche Metrik sollten Sie verwenden?
• Wie viel KV cache-Speicher benötigt eine LLM-Anfrage?
• Prefill und Decode: Warum LLM Inference zwei Phasen hat
• MHA, MQA und GQA: Wie Attention den KV-Speicherbedarf verändert

Inference-Optimierungen

• Wie Fusion von CUDA Kernels die LLM-Inference-Geschwindigkeit verbessert
• Was FlashAttention bei Transformer Inference verändert
• Was ist Flash-Decoding, und wann beschleunigt es LLMs?
• Continuous Batching und statisches Batching: So funktioniert LLM-Scheduling
• Was verändert PagedAttention bei der KV-Speicherzuweisung für LLMs?
• Wann macht spekulatives Decoding LLM Serving schneller?
• Wie Prefix Caching LLM Prompts und gecachte Tokens wiederverwendet
• Wie Sie LLM-Antworten mit SSE und Abschnitten mit Nutzungsdaten streamen

Model-Architektur und Tokenization

• Welche Operationen laufen in einer Transformer-Decoder-Schicht ab?
• Encoder- und Decoder-Models: Welche Architektur passt?
• MoE: Wie viel Speicher benötigen gesamte und aktive Parameter?
• BPE, SentencePiece und tiktoken: Wie sich Tokenizer unterscheiden
• Was LLM Context Windows begrenzen und wie RoPE sie erweitert

Training und Alignment

• Pretraining und Fine-Tuning: Wie unterscheiden sich die LLM-Phasen?
• LoRA und QLoRA: Welche Fine-Tuning-Methode sollte ich verwenden?
• BF16, FP16 und FP8: In welchem Format sollte ich trainieren?
• Gradient Checkpointing: Wie spart es GPU-Speicher?
• DeepSpeed-ZeRO-Stufen: Welcher Trainingszustand wird aufgeteilt?
• FSDP und DeepSpeed ZeRO: Was passt zu meiner Trainingskonfiguration?
• Chinchilla Scaling: Senkt mehr Training die LLM-Kosten?
• RLHF, DPO und GRPO: Wie unterscheiden sich die Alignment-Methoden?
• LLM Distillation: Wie lernen kleine Models von Lehrermodellen?
• Synthetische Trainingsdaten: Wie generiere ich nützliche Beispiele?

Deployment und Model-Auswahl

• LLM-Parallelisierung: Wie unterscheiden sich TP, PP, DP und EP?
• LLM-Serving-Frameworks: Wie wähle ich eine Runtime aus?
• GPU-Auswahl für LLMs: Wie viel GPU-Speicher benötige ich?
• LLM Routing und Cascading: Welches Model verarbeitet eine Anfrage?

Retrieval, Agents und Prompts

• Embedding- und generative Models: Was gibt jeder Typ aus?
• RAG-Pipeline im Produktivbetrieb: Welche Stufen sollte ich evaluieren?
• ReAct und ReWOO: Welches Muster für die Ausführung von Agents passt?
• Prompt Engineering im Produktivbetrieb: Wie teste ich Änderungen?

Produktivbetrieb

• Wie sollten LLM APIs Anfragen, Tokens und gleichzeitige Ausführungen begrenzen?
• Was verursacht Ausfälle beim LLM Serving, und wie beheben Sie sie?
• Welche Metriken sollten Sie in einem LLM-Serving-System überwachen?
• Wie senken Sie LLM-Kosten, ohne die Antwortqualität zu verschlechtern?
• Wie planen Sie GPU-Kapazität und Autoscaling für LLMs?

Die vollständigen Erklärungen finden Sie in den ausführlichen Artikeln.