GGUF vs AWQ vs GPTQ vs FP8 vs NF4: выбор квантизации LLM
Автоматический перевод
Эта статья была автоматически переведена с оригинальной английской версии.
Выбирайте квантизацию LLM с учётом рантайма, оборудования и задачи, которую нужно выполнить. GGUF упаковывает тензоры модели и метаданные. AWQ и GPTQ снижают точность весов после обучения. FP8 использует восьмибитные значения с плавающей запятой. NF4 хранит веса в четырёх битах и часто используется при обучении адаптеров QLoRA. Эти названия описывают разные части процесса загрузки и выполнения модели.
Сначала выберите рантайм и оборудование. Затем выберите представление, которое поддерживается закреплённым рантаймом для нужной архитектуры. Прежде чем использовать меньшие файлы модели, сравните качество на задачах, потребление памяти, время до первого токена, throughput и степень параллелизма.
Проверьте совместимость, прежде чем сравнивать размер файлов или разрядность.
Таблица выбора
| Цель | С чего начать | Что проверить перед использованием |
|---|---|---|
| Локальный инференс на CPU, Metal или переносимом llama.cpp | GGUF с документированной квантизацией | Поддержку архитектуры, шаблон чата, поведение с контекстом, параметры квантизации и ревизию исходников. |
| Инференс на GPU с калиброванной квантизацией весов | AWQ или GPTQ | Движок сервинга, GPU, разрядность, размер группы, ядра и архитектуру модели. |
| Сервинг на поддерживаемом GPU для дата-центров | FP8 | Возможности оборудования, реализацию в рантайме, режим калибровки и качество всего процесса. |
| Параметрически эффективное обучение с замороженными 4-битными весами | NF4 через bitsandbytes | Арифметическую точность, память для обучения и способ деплоя: с адаптером или объединёнными весами. |
| Простой прототип на Transformers | bitsandbytes в 8- или 4-битном режиме | Поддержку бэкенда и соответствие прототипного пути продакшен-серверу. |
GGUF не задаёт одну конкретную квантизацию
Расширение .gguf показывает, как упакованы тензоры и метаданные, но не задаёт точность каждого тензора. Такие имена, как Q4_K_M, обозначают рецепты квантизации llama.cpp; эти рецепты могут по-разному обрабатывать группы тензоров. Фиксируйте исходный чекпоинт, версию конвертера, команду квантизации и хэши файлов. При калибровке используются репрезентативные входные данные для выбора параметров квантизации. Если при конвертации применялись такие данные, фиксируйте и датасет.
Для AWQ и GPTQ нужен совместимый путь сервинга
Файлы моделей AWQ и GPTQ обычно используют Safetensors и настройки, описывающие метод квантизации. Модель может успешно скачаться, но перейти на медленное ядро или завершиться с ошибкой из-за неподдерживаемой архитектуры. Перед выбором файлов модели проверьте актуальную матрицу поддержки для Transformers, vLLM или конкретной версии сервера.
FP8 и NF4 решают разные задачи
FP8 особенно привлекателен, когда ускоритель и стек сервинга эффективно его поддерживают. NF4 в первую очередь используется для хранения замороженных весов модели при обучении небольших адаптеров в сценариях наподобие QLoRA. В bitsandbytes тип данных вычислений задаёт точность арифметики; она может отличаться от точности сохранённых четырёхбитных весов. Дополнительная вложенная квантизация также сжимает константы, используемые для представления этих весов. Ни одна из этих маркировок не гарантирует одинаковые качество, скорость или потребление памяти для разных моделей и типов оборудования.
Список проверок для оценки
Четырёхбитное хранение не означает, что весь процесс использует четыре бита на параметр. Метаданные квантизации, тензоры повышенной точности, временные буферы и кэш аттеншна требуют дополнительной памяти. Проверьте длину промптов и одновременные запросы, которые планируете обслуживать.
- сравнивайте один и тот же исходный чекпоинт и набор промптов
- включайте запросы с длинным контекстом и одновременной обработкой
- измеряйте соответствие схемам и корректность tool calls наряду с перплексией
- фиксируйте пиковое потребление памяти устройства и хоста
- проверяйте время до первого токена и throughput генерации
- анализируйте редкие или затратные подмножества оценки качества
- храните вместе с файлами модели лицензию, ревизию исходников, конвертер, рецепт и хэш
Дополнительные материалы
- Руководство по LLM-инжинирингу: квантизация рассматривает эти варианты вместе с памятью, ядрами сервинга и выбором GPU.
- Руководство по квантизации моделей охватывает алгоритмы, калибровку, ядра и компромиссы при деплое.
- Варианты LLM с открытыми весами разделяет назначение чекпоинта, архитектуру, контейнер, квантизацию, рантайм и оборудование.
- Локальные LLM на macOS показывает применение этих вариантов на Apple Silicon.