Быстрые ответы для решений в AI-инжиниринге

Выберите вопрос, на который нужно ответить. Каждый гайд содержит стартовую рекомендацию, объясняет, когда она меняется, и ведёт к подробной статье. Это варианты, которые нужно тестировать на собственной задаче, а не рейтинг универсальных победителей.

ИИ-агенты

• Нужен ли мне ИИ-агент или фиксированный пайплайн?

  Используйте фиксированный пайплайн, если можете определить шаги и ветвления. Рассмотрите шаги, выбираемые моделью, если фиксированные правила не справляются с задачей достаточно надёжно.

• С какого фреймворка для ИИ-агентов начать?

  Выбирайте по степени контроля над шагами, сохранённым прогрессом и восстановлением после сбоев. Сравните небольшой SDK с графовым пайплайном, прежде чем добавлять новые компоненты.

• Какой инструмент для оценки ИИ-агентов использовать?

  Начните с задачи: анализировать запуски, тестировать изменения или проверять действия инструментов. Инструмент может помочь запускать тесты, но успешное выполнение задачи всё равно нужно определить самостоятельно.

• Как защитить ИИ-агента?

  Ограничьте возможности его инструментов. Проверяйте разрешения перед действиями, изолируйте выполнение кода и запрашивайте подтверждение, когда последствия этого требуют.

• Использовать function calling, MCP, CLI или skills?

  У них разные назначения, и они могут работать вместе. Отдельно решите, как предоставлять инструмент, и отдельно — какие инструкции объясняют, когда его использовать.

• Когда помогает ризонинг по схеме?

  Используйте его, когда нужно проверить промежуточные поля перед выполнением действия. Корректная структура всё равно требует проверок фактов и прикладных правил.

Retrieval и документы

• Какая NER-модель подходит для моих сущностей?

  Начните с ваших меток и примеров. Для стабильных и изменяющихся меток, пересекающихся спанов и фактов, выводимых из нескольких предложений, нужны разные тесты.

• Какой OCR-инструмент подходит для моих документов?

  Тестируйте именно тот результат, который вам нужен: текст, порядок чтения, таблицы или конкретные поля. Для чистых сканов и сложной вёрстки страниц могут потребоваться разные подходы.

• Нужны ли мне базовый RAG, агентный RAG или GraphRAG?

  Начните с одного прохода retrieval. Рассмотрите повторный поиск, если последующие вопросы зависят от предыдущих результатов, или GraphRAG, если нужны сводки по коллекции.

• Какие инструменты и метрики для оценки RAG использовать?

  Проверяйте извлечённые подтверждения отдельно от сгенерированного ответа. Выбирайте метрики по типу ошибки, которую нужно найти, и имеющимся эталонным данным.

• Когда добавлять эмбеддинги или реранкер?

  Сначала измерьте базовый результат поиска по ключевым словам. Добавляйте новый этап только тогда, когда он устраняет измеренную проблему retrieval или ранжирования в рамках доступного времени.

Модели и локальные инструменты

• Какой локальный инструмент для LLM использовать в macOS?

  Выбирайте по предпочтительному способу работы: десктопный интерфейс, локальный API или Python-код. Убедитесь, что выбранная модель действительно запускается на вашем Mac.

• Какой формат квантизации LLM использовать?

  Сначала проверьте, что поддерживают ваш рантайм и оборудование. Затем сравните расход памяти, скорость и качество на своей задаче.

• Использовать промптинг, RAG или файн-тюнинг?

  Используйте промптинг для инструкций, retrieval — для недостающих знаний, а файн-тюнинг — для поведения, которое можно продемонстрировать примерами. Возможно, потребуется сочетание нескольких подходов.

Вопросы LLM-инжиниринга

Эти ответы охватывают 45 тем из Руководства по LLM-инжинирингу. Начните с одного вопроса, затем перейдите по ссылке на руководство, чтобы изучить формулы, диаграммы и более широкий контекст. Ответ о квантизации уже находится выше, в разделе «Модели и локальные инструменты».

Оборудование GPU

• Почему декодирование LLM ограничен памятью, а префилл — вычислениями?
• Как иерархия памяти GPU влияет на скорость инференса LLM
• Какие характеристики GPU важны для сервинга LLM?

Латентность и память при инференсе

• Как измерять латентность LLM с помощью TTFT, TPOT и P99
• Throughput и goodput LLM: какую метрику использовать?
• Сколько памяти KV cache требуется для запроса к LLM?
• Префилл и декодирование: почему инференс LLM состоит из двух фаз
• MHA, MQA и GQA: как аттеншн меняет расход памяти KV

Оптимизации инференса

• Как объединение ядер CUDA повышает скорость инференса LLM
• Что FlashAttention меняет в инференсе трансформеров
• Что такое Flash-Decoding и когда он ускоряет LLMs?
• Continuous batching и статический батчинг: как работает планирование запросов к LLM
• Что PagedAttention меняет в выделении памяти KV для LLM?
• Когда спекулятивное декодирование ускоряет сервинг LLM?
• Как prefix caching повторно использует промпты LLM и закэшированные токены
• Как передавать ответы LLM потоком с помощью SSE и чанков со статистикой использования

Архитектура моделей и токенизация

• Какие операции выполняются внутри слоя декодера трансформера?
• Модели-энкодеры и модели-декодеры: какая архитектура подходит?
• Общее число и число активных параметров MoE: сколько памяти нужно?
• BPE, SentencePiece и tiktoken: чем различаются токенизаторы
• Что ограничивают контекстные окна LLM и как RoPE их расширяет

Обучение и элайнмент

• Претрейнинг и файн-тюнинг: чем различаются этапы обучения LLM?
• LoRA или QLoRA: какой метод файн-тюнинга использовать?
• BF16, FP16 или FP8: в каком формате обучать модель?
• Чекпоинтинг активаций: как он экономит память GPU?
• Стадии DeepSpeed ZeRO: какое состояние обучения распределяется?
• FSDP или DeepSpeed ZeRO: что подходит для моей конфигурации обучения?
• Законы масштабирования Chinchilla: снижает ли более длительное обучение стоимость LLM?
• RLHF, DPO и GRPO: чем различаются методы элайнмента?
• Дистилляция LLM: как небольшие модели учатся у моделей-учителей?
• Синтетические обучающие данные: как генерировать полезные примеры?

Деплой и выбор моделей

• Параллелизм LLM: чем различаются TP, PP, DP и EP?
• Фреймворки сервинга LLM: как выбрать рантайм?
• Выбор GPU для LLMs: сколько памяти GPU нужно?
• Роутинг и каскады LLM: какая модель обрабатывает запрос?

Retrieval, агенты и промпты

• Эмбеддинг-модели и генеративные модели: что выдаёт каждый тип?
• RAG-пайплайн в продакшене: какие этапы оценивать?
• ReAct или ReWOO: какая схема выполнения задач агентом подходит?
• Промпт-инжиниринг в продакшене: как тестировать изменения?

Эксплуатация в продакшене

• Как LLM APIs должны ограничивать запросы, токены и параллельное выполнение?
• Что вызывает сбои сервинга LLM и как их исправлять?
• Какие метрики отслеживать в системе сервинга LLM?
• Как снижать затраты на LLM без потери качества ответов?
• Как планировать ресурсы GPU и автомасштабирование для LLMs?

Полные объяснения доступны в развёрнутых статьях.