Snelle antwoorden voor AI engineering-beslissingen

Kies de vraag die je wilt beantwoorden. Elke gids geeft een eerste aanbeveling, legt uit wanneer die verandert en linkt naar een uitgebreid artikel. Dit zijn keuzes om op je eigen taak te testen, geen ranglijst van universele winnaars.

AI agents

• Heb ik een agent of een vaste workflow nodig?

  Gebruik een vaste workflow wanneer je de stappen en vertakkingen kunt definiëren. Overweeg door het model gekozen stappen wanneer vaste regels de taak niet betrouwbaar kunnen afhandelen.

• Met welk agent framework kan ik het beste beginnen?

  Kies op basis van de controle die je nodig hebt over stappen, opgeslagen voortgang en herstel. Vergelijk een kleine SDK met een workflow op basis van een graaf voordat je meer componenten toevoegt.

• Welke tool voor agent-evaluatie moet ik gebruiken?

  Begin met het doel: uitvoeringen inspecteren, wijzigingen testen of toolacties controleren. Een tool kan helpen je tests uit te voeren; je moet nog steeds definiëren wanneer een taak succesvol is.

• Hoe beveilig ik een AI agent?

  Beperk wat de tools ervan kunnen doen. Controleer permissies vóór acties, isoleer de uitvoering van code en vraag om goedkeuring wanneer de gevolgen dat vereisen.

• Moet ik function calling, MCP, een CLI of skills gebruiken?

  Deze hebben verschillende doelen en kunnen samenwerken. Kies afzonderlijk hoe je een tool beschikbaar maakt en welke instructies uitleggen wanneer je die moet gebruiken.

• Wanneer helpt reasoning op basis van een schema?

  Gebruik dit wanneer je tussenliggende velden wilt controleren voordat je een actie uitvoert. Een geldige structuur vereist nog steeds controles van het bewijsmateriaal en applicatieregels.

Retrieval en documenten

• Welk NER model past bij mijn entiteiten?

  Begin met je labels en voorbeelden. Stabiele labels, veranderende labels, overlappende spans en feiten die over meerdere zinnen worden afgeleid vereisen verschillende tests.

• Welke OCR tool past bij mijn documenten?

  Test de output die je nodig hebt: tekst, leesvolgorde, tabellen of specifieke velden. Schone scans en complexe paginalay-outs kunnen een verschillende aanpak vereisen.

• Heb ik eenvoudige RAG, agentic RAG of GraphRAG nodig?

  Begin met één retrieval-ronde. Overweeg herhaalde zoekopdrachten wanneer latere vragen afhangen van eerdere resultaten, of GraphRAG wanneer je samenvattingen over een collectie nodig hebt.

• Welke RAG-evaluatietools en metrieken moet ik gebruiken?

  Controleer opgehaald bewijsmateriaal afzonderlijk van het gegenereerde antwoord. Kies metrieken op basis van de fout die je wilt vinden en de referentiegegevens waarover je beschikt.

• Wanneer moet ik embeddings of een reranker toevoegen?

  Meet eerst een referentie voor zoeken op trefwoorden. Voeg pas een extra fase toe wanneer die een gemeten retrieval- of rankingprobleem oplost binnen je tijdsbudget.

Models en lokale tools

• Welke lokale LLM tool moet ik op macOS gebruiken?

  Kies op basis van hoe je wilt werken: een desktopinterface, een lokale API of Python-code. Controleer of het geselecteerde model daadwerkelijk op je Mac draait.

• Welk LLM-quantization-formaat moet ik gebruiken?

  Controleer eerst wat je runtime en hardware ondersteunen. Vergelijk daarna het geheugengebruik, de snelheid en de kwaliteit op jouw taak.

• Moet ik prompten, RAG gebruiken of fine-tunen?

  Probeer prompting voor instructies, retrieval voor ontbrekende kennis en fine-tuning voor gedrag dat je met voorbeelden kunt demonstreren. Mogelijk heb je meer dan één aanpak nodig.

Vragen over LLM engineering

Deze antwoorden behandelen de 45 onderwerpen in de LLM Engineering Guide. Begin met één vraag en volg daarna de link naar de gids voor de vergelijkingen, diagrammen en bredere context. Het bestaande antwoord over quantization staat hierboven onder Models en lokale tools.

GPU-hardware

• Waarom is LLM decode beperkt door geheugenbandbreedte en prefill door rekenkracht?
• Hoe de GPU-geheugenhiërarchie de snelheid van LLM inference beïnvloedt
• Welke GPU-hardwarespecificaties zijn belangrijk voor LLM serving?

Inference latency en geheugen

• Hoe meet je LLM latency met TTFT, TPOT en P99?
• LLM throughput en goodput: welke metriek moet je gebruiken?
• Hoeveel KV cache-geheugen heeft een LLM-request nodig?
• Prefill en decode: waarom LLM inference twee fasen heeft
• MHA, MQA en GQA: hoe attention het KV-geheugengebruik verandert

Inference-optimalisaties

• Hoe het samenvoegen van CUDA kernels de snelheid van LLM inference verbetert
• Wat FlashAttention verandert aan transformer inference
• Wat is Flash-Decoding en wanneer versnelt het LLMs?
• Continuous batching en statische batching: hoe LLM-scheduling werkt
• Wat verandert PagedAttention aan de KV-geheugentoewijzing voor LLMs?
• Wanneer maakt speculative decoding LLM serving sneller?
• Hoe prefix caching LLM prompts en gecachte tokens hergebruikt
• Hoe stream je LLM-antwoorden met SSE en fragmenten met gebruiksgegevens?

Model-architectuur en tokenization

• Welke bewerkingen worden binnen een decoderlaag van een transformer uitgevoerd?
• Encoder- en decoder-models: welke architectuur past?
• Totale en actieve MoE-parameters: hoeveel geheugen heb je nodig?
• BPE, SentencePiece en tiktoken: hoe tokenizers verschillen
• Wat LLM context windows beperken en hoe RoPE ze uitbreidt

Training en alignment

• Pretraining en fine-tuning: hoe verschillen de LLM-fasen?
• LoRA en QLoRA: welke fine-tuning-methode moet ik gebruiken?
• BF16, FP16 en FP8: in welk formaat moet ik trainen?
• Gradient checkpointing: hoe bespaart het GPU-geheugen?
• DeepSpeed ZeRO-stadia: welke trainingsstatus wordt verdeeld?
• FSDP en DeepSpeed ZeRO: wat past bij mijn trainingsconfiguratie?
• Chinchilla-scaling: verlaagt meer training de LLM-kosten?
• RLHF, DPO en GRPO: hoe verschillen de alignment-methoden?
• LLM-distillatie: hoe leren kleine models van models die als leraar dienen?
• Synthetische trainingsdata: hoe genereer ik nuttige voorbeelden?

Deployment en model-selectie

• LLM-parallellisme: hoe verschillen TP, PP, DP en EP?
• LLM-serving-frameworks: hoe kies ik een runtime?
• GPU-selectie voor LLMs: hoeveel GPU-geheugen heb ik nodig?
• LLM routing en cascades: welk model verwerkt een vraag?

Retrieval, agents en prompts

• Embedding- en generatieve models: wat geeft elk type als output?
• RAG-pipeline in productie: welke fasen moet ik evalueren?
• ReAct en ReWOO: welk uitvoeringspatroon voor agents past?
• Prompt engineering in productie: hoe test ik wijzigingen?

Beheer in productie

• Hoe moeten LLM APIs verzoeken, tokens en gelijktijdige verwerking begrenzen?
• Wat veroorzaakt storingen bij LLM serving en hoe los je ze op?
• Welke metrieken moet je monitoren in een LLM-serving-systeem?
• Hoe verlaag je LLM-kosten zonder verlies van antwoordkwaliteit?
• Hoe plan je GPU-capaciteit en autoscaling voor LLMs?

Bekijk voor de volledige uitleg de uitgebreide artikelen.