Respostas rápidas para decisões de engenharia de AI

Escolha a pergunta que precisa de responder. Cada guia apresenta uma recomendação inicial, explica quando esta muda e inclui uma ligação para um artigo detalhado. Estas são opções para testar na sua própria tarefa, não uma classificação de vencedores universais.

Agentes de AI

• Preciso de um agente ou de um workflow fixo?

  Use um workflow fixo quando conseguir definir os passos e as ramificações. Considere passos escolhidos pelo modelo quando as regras fixas não conseguem tratar a tarefa de forma fiável.

• Com que framework de agentes devo começar?

  Escolha com base no controlo de que precisa sobre os passos, o progresso guardado e a recuperação. Compare um SDK pequeno com um workflow baseado em grafos antes de adicionar mais componentes.

• Que ferramenta de avaliação de agentes devo usar?

  Comece pelo objetivo: inspecionar execuções, testar alterações ou verificar ações de ferramentas. Uma ferramenta pode ajudar a executar os seus testes; ainda assim, precisa de definir o que constitui uma tarefa bem-sucedida.

• Como devo proteger um agente de AI?

  Limite aquilo que as respetivas ferramentas podem fazer. Verifique as permissões antes das ações, isole a execução de código e peça aprovação quando as consequências o exigirem.

• Devo usar function calling, MCP, uma CLI ou skills?

  Estes mecanismos têm finalidades diferentes e podem funcionar em conjunto. Escolha separadamente a forma de expor uma ferramenta e as instruções que explicam quando a utilizar.

• Quando é útil o raciocínio orientado por esquema?

  Use-o quando precisar de verificar campos intermédios antes de executar uma ação. Uma estrutura válida continua a exigir verificações de evidências e regras da aplicação.

Recuperação e documentos

• Que modelo de NER é adequado para as minhas entidades?

  Comece pelas suas etiquetas e exemplos. Etiquetas estáveis, etiquetas variáveis, segmentos sobrepostos e factos inferidos entre frases exigem testes diferentes.

• Que ferramenta de OCR é adequada para os meus documentos?

  Teste o resultado de que precisa: texto, ordem de leitura, tabelas ou campos específicos. Digitalizações limpas e layouts de página complexos podem exigir abordagens diferentes.

• Preciso de RAG básico, RAG agentic ou GraphRAG?

  Comece por uma única passagem de recuperação. Considere pesquisas repetidas quando as perguntas seguintes dependem dos resultados anteriores, ou GraphRAG quando precisar de resumos sobre uma coleção.

• Que ferramentas e métricas de avaliação de RAG devo usar?

  Verifique as evidências recuperadas separadamente da resposta gerada. Escolha as métricas com base na falha que precisa de encontrar e nos dados de referência de que dispõe.

• Quando devo adicionar embeddings ou um reranker?

  Meça primeiro uma referência de pesquisa por palavras-chave. Adicione outra etapa apenas quando esta resolver um problema de recuperação ou ordenação medido dentro do seu orçamento de tempo.

Modelos e ferramentas locais

• Que ferramenta local de LLM devo usar no macOS?

  Escolha com base na forma como pretende trabalhar: uma interface de ambiente de trabalho, uma API local ou código Python. Confirme que o modelo selecionado funciona efetivamente no seu Mac.

• Que formato de quantização de LLM devo usar?

  Verifique primeiro o que o seu runtime e hardware suportam. Depois compare o consumo de memória, a velocidade e a qualidade na sua tarefa.

• Devo usar prompts, RAG ou fine-tuning?

  Experimente prompts para instruções, recuperação para conhecimento em falta e fine-tuning para comportamentos que consiga demonstrar com exemplos. Poderá precisar de mais do que uma abordagem.

Questões de engenharia de LLM

Estas respostas abrangem os 45 temas do Guia de engenharia de LLM. Comece por uma pergunta e siga a ligação para o guia para consultar as equações, os diagramas e o contexto mais amplo. A resposta existente sobre quantização encontra-se acima, em Modelos e ferramentas locais.

Hardware de GPU

• Porque é que a descodificação de LLM é limitada pela memória e o prefill pelo cálculo?
• Como a hierarquia de memória de GPU afeta a velocidade de inferência de LLM
• Que especificações de hardware de GPU importam para o serving de LLM?

Latência e memória de inferência

• Como medir a latência de LLM com TTFT, TPOT e P99
• Débito de LLM e goodput: que métrica deve usar?
• Quanta memória de KV cache requer um pedido a um LLM?
• Prefill e descodificação: porque é que a inferência de LLM tem duas fases
• MHA, MQA e GQA: como a atenção altera o uso de memória KV

Otimizações de inferência

• Como a fusão de kernels CUDA melhora a velocidade de inferência de LLM
• O que muda FlashAttention na inferência de transformers
• O que é Flash-Decoding e quando acelera os LLMs?
• Agrupamento contínuo e estático: como funciona o escalonamento de LLM
• O que muda PagedAttention na alocação de memória KV de LLM?
• Quando é que a descodificação especulativa acelera o serving de LLM?
• Como o armazenamento de prefixos em cache reutiliza prompts de LLM e tokens em cache
• Como transmitir respostas de LLM com SSE e blocos de dados de utilização

Arquitetura de modelos e tokenização

• Que operações são executadas numa camada descodificadora de transformer?
• Modelos encoder e decoder: que arquitetura é adequada?
• Parâmetros totais e ativos de MoE: de quanta memória precisa?
• BPE, SentencePiece e tiktoken: como diferem os tokenizadores
• O que limitam as janelas de contexto de LLM e como RoPE as alarga

Treino e alinhamento

• Pré-treino e fine-tuning: como diferem as etapas de LLM?
• LoRA ou QLoRA: que método de fine-tuning devo usar?
• BF16, FP16 ou FP8: em que formato devo treinar?
• Recálculo de ativações: como poupa memória de GPU?
• Etapas de DeepSpeed ZeRO: que estado de treino é repartido?
• FSDP ou DeepSpeed ZeRO: qual é adequado à minha configuração de treino?
• Escalamento de Chinchilla: mais treino reduz o custo de LLM?
• RLHF, DPO e GRPO: como diferem os métodos de alinhamento?
• Destilação de LLM: como aprendem os modelos pequenos com os modelos professores?
• Dados de treino sintéticos: como gero exemplos úteis?

Disponibilização e seleção de modelos

• Paralelismo de LLM: como diferem TP, PP, DP e EP?
• Frameworks de serving de LLM: como devo escolher um runtime?
• Seleção de GPU para LLMs: de quanta memória de GPU preciso?
• Encaminhamento e cascatas de LLM: que modelo trata uma consulta?

Recuperação, agentes e prompts

• Modelos de embedding e generativos: o que produz cada um?
• Pipeline de RAG em produção: que etapas devo avaliar?
• ReAct ou ReWOO: que padrão de execução de agentes é adequado?
• Prompt engineering em produção: como testo alterações?

Operações em produção

• Como devem as APIs de LLM limitar pedidos, tokens e concorrência?
• O que causa falhas no serving de LLM e como as corrigir?
• Que métricas deve monitorizar num sistema de serving de LLM?
• Como reduzir os custos de LLM sem perder qualidade nas respostas?
• Como planear a capacidade de GPU e o escalamento automático para LLMs?

Para consultar as explicações completas, explore os artigos longos.