LLM Quantization-Formate: GGUF, AWQ, GPTQ, FP8 und NF4
Automatische Übersetzung Dieser Artikel wurde automatisch aus der englischen Originalversion übersetzt.
GGUF, AWQ, GPTQ, FP8 und NF4 sind keine fünf austauschbaren Dateiformate. GGUF ist ein Model-Container- und Metadatenformat, das häufig mit llama.cpp verwendet wird. AWQ und GPTQ sind Post-Training-Quantization-Methoden. FP8 ist ein numerisches Format, das von unterstützten Accelerators und Serving-Kernels verwendet wird. NF4 ist ein Vier-Bit-Datentyp für normalverteilte Weights und wird häufig für QLoRA-Training eingesetzt.
Wählen Sie zuerst Runtime und Hardware. Wählen Sie anschließend eine Repräsentation, die die festgelegte Runtime für die konkrete Architektur unterstützt. Benchmarken Sie Task-Qualität, Speicherbedarf, Time to First Token, Throughput und Concurrency, bevor Sie das kleinere Artefakt übernehmen.
Zuletzt geprüft: 2026-08-10. Der Vergleich priorisiert Runtime-Kompatibilität, Hardware-Kernels, Training gegenüber Serving, Artefakt-Provenienz, Speicher, Latency und gemessenen Qualitätsverlust.
Entscheidungstabelle
| Ziel | Bester Ausgangspunkt | Vor der Verwendung prüfen |
|---|---|---|
| Lokale Inference auf CPU, Metal oder portabel mit llama.cpp | GGUF mit dokumentierter Quantization | Architektur-Support, Chat-Template, Context-Verhalten, Quantization-Rezept und Source-Revision. |
| GPU-Inference mit kalibrierter Weight-Quantization | AWQ oder GPTQ | Serving-Engine, GPU, Bitbreite, Group Size, Kernels und Model-Architektur. |
| Serving auf unterstützten Data-Center-GPUs | FP8 | Hardware-Fähigkeit, Runtime-Implementierung, Calibration-Modus und End-to-End-Qualität. |
| Parameter-effizientes Training mit eingefrorenen 4-Bit-Weights | NF4 über bitsandbytes | Compute-Dtype, Nested Quantization, Optimizer-Speicher und das finale gemergte oder Adapter-Artefakt. |
| Einfachster Transformers-Prototyp | bitsandbytes mit 8 oder 4 Bit | Backend-Support und ob der Prototyp-Pfad dem Production-Server entspricht. |
GGUF legt keine einzelne Quantization fest
Eine .gguf-Extension gibt an, wie Tensors und Metadaten paketiert werden, nicht die Precision jedes einzelnen Tensors. Namen wie Q4_K_M identifizieren llama.cpp-Quantization-Rezepte; diese Rezepte können Tensor-Gruppen unterschiedlich behandeln. Dokumentieren Sie das ursprüngliche Checkpoint, die Conversion-Revision, den Quantization-Befehl, die Importance Matrix, falls verwendet, und die Hashes.
AWQ und GPTQ benötigen einen passenden Serving-Pfad
AWQ- und GPTQ-Artefakte verwenden normalerweise Safetensors plus eine methodenspezifische Konfiguration. Ein Model kann erfolgreich heruntergeladen werden und trotzdem auf einen langsamen Kernel zurückfallen oder bei einer nicht unterstützten Architektur fehlschlagen. Prüfen Sie vor der Auswahl des Artefakts die aktuelle Support-Matrix von Transformers, vLLM oder der tatsächlich verwendeten Server-Version.
FP8 und NF4 lösen unterschiedliche Probleme
FP8 ist besonders attraktiv, wenn Accelerator und Serving-Stack das Format effizient implementieren. NF4 wird primär mit speichereffizientem Adapter-Training in QLoRA-ähnlichen Workflows verbunden. Keine der beiden Bezeichnungen garantiert über verschiedene Models und Hardware hinweg dieselbe Qualität, Geschwindigkeit oder denselben Speicherbedarf.
Eval-Checkliste
- vergleichen Sie dasselbe Source-Checkpoint und dasselbe Prompt-Set
- schließen Sie Long-Context- und Concurrent-Requests ein
- messen Sie Schema- und Tool-Call-Korrektheit zusätzlich zur Perplexity
- erfassen Sie den maximalen Device- und Host-Speicher
- prüfen Sie Time to First Token und Output-Throughput
- untersuchen Sie seltene oder besonders kostenintensive Quality-Slices
- halten Sie License, Source-Revision, Converter, Rezept und Hash gemeinsam mit dem Artefakt fest
Weiterführende Lektüre
- Model Quantization Guide behandelt Algorithmen, Calibration, Kernels und Deployment-Trade-offs.
- Open-Weight LLM Variants trennt Checkpoint-Rolle, Architektur, Container, Quantization, Runtime und Hardware.
- Local LLMs on macOS wendet diese Entscheidungen auf Apple Silicon an.