Respuestas rápidas para decisiones de ingeniería de AI

Elige la pregunta que necesitas responder. Cada guía ofrece una recomendación inicial, explica cuándo puede cambiar y enlaza a un artículo detallado. Son decisiones que debes probar en tu propia tarea, no una clasificación de ganadores universales.

Agentes de AI

• ¿Necesito un agente o un workflow fijo?

  Usa un workflow fijo cuando puedas definir los pasos y las bifurcaciones. Plantéate usar pasos elegidos por el modelo cuando las reglas fijas no permitan resolver la tarea de forma fiable.

• ¿Con qué framework de agentes debería empezar?

  Elígelo según el control que necesites sobre los pasos, el progreso guardado y la recuperación. Compara un SDK pequeño con un workflow basado en grafos antes de añadir más componentes.

• ¿Qué herramienta de evaluación de agentes debería usar?

  Empieza por el objetivo: inspeccionar ejecuciones, probar cambios o comprobar acciones de las herramientas. Una herramienta puede ayudarte a ejecutar tus tests; aun así, debes definir qué significa que una tarea se ha completado correctamente.

• ¿Cómo debería proteger un agente de AI?

  Limita lo que pueden hacer sus herramientas. Comprueba los permisos antes de ejecutar acciones, aísla la ejecución de código y solicita aprobación cuando las consecuencias lo requieran.

• ¿Debería usar function calling, MCP, una CLI o skills?

  Cumplen objetivos distintos y pueden combinarse. Decide por separado cómo exponer una herramienta y qué instrucciones explican cuándo utilizarla.

• ¿Cuándo ayuda el razonamiento guiado por un esquema?

  Úsalo cuando necesites comprobar campos intermedios antes de ejecutar una acción. Una estructura válida sigue necesitando comprobaciones de evidencias y reglas de aplicación.

Recuperación y documentos

• ¿Qué modelo de NER se adapta a mis entidades?

  Empieza por tus etiquetas y ejemplos. Las etiquetas estables, las etiquetas cambiantes, los fragmentos solapados y los hechos inferidos entre varias frases requieren tests distintos.

• ¿Qué herramienta de OCR se adapta a mis documentos?

  Prueba el resultado que necesitas: texto, orden de lectura, tablas o campos concretos. Los escaneos limpios y las maquetaciones complejas pueden requerir enfoques distintos.

• ¿Necesito RAG básico, agentic RAG o GraphRAG?

  Empieza con una única pasada de recuperación. Plantéate repetir la búsqueda cuando las preguntas posteriores dependan de resultados anteriores, o usar GraphRAG cuando necesites resúmenes de una colección.

• ¿Qué herramientas y métricas de evaluación de RAG debería usar?

  Comprueba por separado las evidencias recuperadas y la respuesta generada. Elige las métricas según el fallo que necesites detectar y los datos de referencia disponibles.

• ¿Cuándo debería añadir embeddings o un reranker?

  Mide primero una referencia de búsqueda por palabras clave. Añade otra etapa solo cuando solucione un problema medido de recuperación o clasificación dentro de tu presupuesto de tiempo.

Modelos y herramientas locales

• ¿Qué herramienta local para LLM debería usar en macOS?

  Elígela según cómo quieras trabajar: una interfaz de escritorio, una API local o código Python. Comprueba que el modelo seleccionado se ejecuta realmente en tu Mac.

• ¿Qué formato de cuantización de LLM debería usar?

  Comprueba primero qué admiten tu runtime y tu hardware. Después compara el uso de memoria, la velocidad y la calidad en tu tarea.

• ¿Debería usar prompts, RAG o fine-tuning?

  Prueba los prompts para las instrucciones, recuperación para el conocimiento que falta y fine-tuning para comportamientos que puedas demostrar con ejemplos. Puede que necesites más de una opción.

Preguntas de ingeniería de LLM

Estas respuestas cubren los 45 temas de la Guía de ingeniería de LLM. Empieza con una pregunta y sigue el enlace a la guía para consultar las ecuaciones, los diagramas y el contexto más amplio. La respuesta existente sobre cuantización aparece arriba, en Modelos y herramientas locales.

Hardware de GPU

• ¿Por qué la decodificación de LLM está limitada por la memoria y el prefill por el cómputo?
• Cómo afecta la jerarquía de memoria de GPU a la velocidad de inferencia de LLM
• ¿Qué especificaciones de hardware de GPU importan para el serving de LLM?

Latencia y memoria de inferencia

• Cómo medir la latencia de LLM con TTFT, TPOT y P99
• Rendimiento frente a goodput de LLM: ¿qué métrica deberías usar?
• ¿Cuánta memoria de KV cache requiere una solicitud a un LLM?
• Prefill frente a decodificación: por qué la inferencia de LLM tiene dos fases
• MHA, MQA y GQA: cómo cambia la atención el uso de memoria KV

Optimizaciones de inferencia

• Cómo mejora la fusión de kernels CUDA la velocidad de inferencia de LLM
• Qué cambia FlashAttention en la inferencia de transformers
• ¿Qué es Flash-Decoding y cuándo acelera los LLMs?
• Agrupación continua frente a estática: cómo funciona la planificación de LLM
• ¿Qué cambia PagedAttention en la asignación de memoria KV de LLM?
• ¿Cuándo acelera la decodificación especulativa el serving de LLM?
• Cómo reutiliza el almacenamiento en caché de prefijos los prompts de LLM y los tokens almacenados
• Cómo transmitir respuestas de LLM con SSE y fragmentos de uso

Arquitectura de modelos y tokenización

• ¿Qué operaciones se ejecutan dentro de una capa decodificadora de transformer?
• Modelos encoder frente a decoder: ¿qué arquitectura encaja?
• Parámetros totales frente a activos de MoE: ¿qué memoria necesitas?
• BPE, SentencePiece y tiktoken: en qué se diferencian los tokenizadores
• Qué limitan las ventanas de contexto de LLM y cómo las amplía RoPE

Entrenamiento y alineación

• Preentrenamiento frente a fine-tuning: ¿en qué se diferencian las etapas de LLM?
• LoRA frente a QLoRA: ¿qué método de fine-tuning debería usar?
• BF16, FP16 y FP8: ¿en qué formato debería entrenar?
• Recomputación de activaciones: ¿cómo ahorra memoria de GPU?
• Etapas de DeepSpeed ZeRO: ¿qué estado de entrenamiento se reparte?
• FSDP frente a DeepSpeed ZeRO: ¿cuál encaja con mi configuración de entrenamiento?
• Escalado de Chinchilla: ¿entrenar más reduce el coste de LLM?
• RLHF, DPO y GRPO: ¿en qué se diferencian los métodos de alineación?
• Destilación de LLM: ¿cómo aprenden los modelos pequeños de los modelos profesores?
• Datos de entrenamiento sintéticos: ¿cómo genero ejemplos útiles?

Despliegue y selección de modelos

• Paralelismo de LLM: ¿en qué se diferencian TP, PP, DP y EP?
• Frameworks de serving de LLM: ¿cómo debería elegir un runtime?
• Selección de GPU para LLMs: ¿cuánta memoria de GPU necesito?
• Enrutamiento frente a cascadas de LLM: ¿qué modelo procesa una consulta?

Recuperación, agentes y prompts

• Modelos de embedding frente a generativos: ¿qué produce cada uno?
• Pipeline de RAG en producción: ¿qué etapas debería evaluar?
• ReAct frente a ReWOO: ¿qué patrón de ejecución de agentes encaja?
• Prompt engineering en producción: ¿cómo pruebo los cambios?

Operaciones en producción

• ¿Cómo deberían las APIs de LLM limitar las solicitudes, los tokens y la concurrencia?
• ¿Qué causa los fallos de serving de LLM y cómo se solucionan?
• ¿Qué métricas deberías supervisar en un sistema de serving de LLM?
• ¿Cómo se reducen los costes de LLM sin perder calidad en las respuestas?
• ¿Cómo se planifican la capacidad de GPU y el autoescalado para LLMs?

Para consultar las explicaciones completas, explora los artículos extensos.