01 · Das Prinzip
Gleiche Parameterzahl, gröber dargestellte Zahlen
Ein Sprachmodell speichert sein erlerntes Verhalten in sehr vielen Zahlen: den Gewichten. Quantisierung bildet diese Zahlen auf eine Darstellung mit weniger Bits ab. Häufig dient ein Modell in BF16 oder FP16 mit 16 Bit je Gewicht als Ausgangspunkt. Bei 8 oder 4 Bit stehen weniger darstellbare Werte zur Verfügung; beim Zuordnen entstehen Rundungsfehler.
Die reine Quantisierung entfernt gewöhnlich keine Parameter und verkleinert nicht die Architektur. Ein Modell mit 70 Milliarden Parametern bleibt ein 70B-Modell. Es speichert dieselbe Anzahl von Gewichten mit geringerer Genauigkeit. Die ursprünglichen Werte lassen sich daraus nicht exakt zurückholen.
Bei einfacher 4-Bit-Quantisierung sind es 16 Zahlenstufen je Skala, bei 8 Bit 256. Gruppen von Gewichten können unterschiedliche Skalen verwenden. Das erhält mehr Genauigkeit, benötigt aber Zusatzdaten. Hugging Face: Grundlagen ↗
02 · Die Größe
Halbe Bitzahl, ungefähr halber Gewichtspeicher
Für eine erste Rechnung reicht die Anzahl der gespeicherten Parameter. Hier wird angenommen, dass alle Gewichte gleich viele Bits verwenden. Die Zahlen sind berechnete Idealwerte, keine gemessenen Downloadgrößen.
Gewichte in GB = Parameter in Milliarden × Bits je Gewicht ÷ 8
| Darstellung | Gewichtspeicher | Anteil an 16 Bit | Ersparnis |
|---|---|---|---|
| 16 Bit BF16 / FP16 | 140 GB | 100 % | Referenz |
| 8 Bit | 70 GB | 50 % | 50 % |
| 6 Bit | 52,5 GB | 37,5 % | 62,5 % |
| 4 Bit | 35 GB | 25 % | 75 % |
| 3 Bit | 26,25 GB | 18,75 % | 81,25 % |
| 2 Bit | 17,5 GB | 12,5 % | 87,5 % |
Dezimale GB: 1 GB = 1 Milliarde Bytes. Ohne Zusatzdaten, unquantisierte Komponenten und Speicher für die laufende Verarbeitung. Keine Größenangabe für eines der ausgewählten Modelle.
70 Milliarden Parameter: 140 GB bei 16 Bit, 35 GB bei 4 Bit. Rechnerische Ersparnis: 105 GB.
Die Datei ist meist größer als der Idealwert
Skalen, Metadaten und präziser gespeicherte Teile kommen hinzu. Beispielsweise benötigt schon die reine Q4_K-Blockdarstellung effektiv 4,5 Bit je Gewicht. Das ist noch nicht der Mittelwert einer kompletten Q4_K_M-Datei. Bei 70B wären 4,5 statt 4 Bit rechnerisch 39,375 statt 35 GB. llama.cpp: Formatdefinition ↗
Die Datei ist nicht der gesamte Arbeitsspeicher
Zur Verarbeitung kommen unter anderem Zwischenergebnisse und der KV-Cache für den bisherigen Kontext hinzu. Eine 4-Bit-Gewichtsdatei bedeutet nicht, dass auch der Kontextspeicher 4 Bit nutzt. Gewichte und KV-Cache lassen sich getrennt quantisieren. vLLM: KV-Cache ↗
Bei Mixture of Experts (MoE) zählt für die vollständige Gewichtsdatei die Gesamtzahl der gespeicherten Parameter. Die kleinere Zahl der pro Token aktiven Parameter darf hier nicht eingesetzt werden. MoE ausführlich erklärt →
03 · Die Qualität
„4 Bit“ ist keine feste Prozentzahl für den Verlust
Bei nachträglicher Quantisierung liegen 8 Bit oft nahe am Ausgangsmodell. Auch 4 Bit können viel Qualität erhalten; darunter steigt das Risiko deutlicher Verluste. Entscheidend bleiben Modell und Verfahren. Vergleichsstudie ↗
Gerade mathematisches Schlussfolgern kann trotz unauffälliger Durchschnittswerte leiden: Ein früher Fehler in einer Lösung kann weitere Schritte kippen. Eine Studie an kleineren Qwen- und Llama-Modellen untersucht genau diese Fehlerketten. Quantization Meets Reasoning, 2026 ↗
Wie groß können Unterschiede konkret sein?
Historische Messbeispiele aus einer Studie von 2024, keine Prognose für die Modelle in unserem aktuellen Vergleich:
| Modell | Variante | Vorher | Nachher | Differenz |
|---|---|---|---|---|
| Qwen-7B-Chat | GPTQ · 4 Bit | 57,10 % | 54,86 % | −2,24 pp |
| Qwen-72B-Chat | GPTQ · 4 Bit | 71,76 % | 71,38 % | −0,38 pp |
| Qwen-72B-Chat | GPTQ · 3 Bit | 71,76 % | 66,89 % | −4,87 pp |
| Qwen-72B-Chat | SpQR · 3 Bit | 71,76 % | 70,67 % | −1,09 pp |
Quelle: Jin et al., Tabelle 2. Mittel aus MMLU, C-EVAL, GSM8K, SNLI und TruthfulQA; kein AA-Index. „pp“ = Prozentpunkte. Bitangaben ohne Zusatzdaten und höherpräzise Ausnahmen.
Training und Geschwindigkeit sind eigene Fragen
Bei PTQ wird ein bereits trainiertes Modell nachträglich quantisiert. Bei QAT wird die begrenzte Genauigkeit schon beim Training oder Nachtrainieren berücksichtigt. Die ParetoQ-Forschung zeigt, dass gezieltes Training gerade bei sehr wenigen Bits einen erheblichen Unterschied macht. Deshalb ist ein auf niedrige Bitzahlen angepasstes Modell nicht mit einer beliebigen nachträglichen Umwandlung gleichzusetzen. ParetoQ ↗
Kleinere Dateien garantieren keine schnelleren Antworten. Weniger Datentransfer kann helfen; Entpacken, Rechenverfahren und Software können den Vorteil aber begrenzen oder umkehren. Antwortqualität und Ausgabetempo gehören deshalb in getrennte Messungen. Untersuchung zur Laufzeit ↗
04 · Die Bezeichnungen
Format, Methode und Bitzahl auseinanderhalten
- BF16 / FP16
- Zwei verschiedene Gleitkommaformate mit jeweils 16 Bit. Gleicher Platzbedarf je Zahl, aber eine andere Aufteilung zwischen Wertebereich und Genauigkeit.
- INT8 / FP8 / INT4 / FP4
- Ganzzahl- beziehungsweise Gleitkommadarstellungen mit 8 oder 4 Bit. Gleiche Bitzahl bedeutet nicht dieselbe Darstellung oder automatisch dieselbe Qualität.
- W4A16
- W steht für Gewichte, A für Aktivierungen: 4-Bit-Gewichte, 16-Bit-Zwischenergebnisse. Die Schreibweise legt die Genauigkeit des KV-Caches nicht fest.
- GGUF
- Ein Dateiformat für Gewichte und Metadaten. „GGUF“ allein verrät weder die Bitzahl noch den Qualitätsverlust; eine solche Datei kann unterschiedliche Zahlendarstellungen enthalten.
- Q4_K_M / Q8_0
- Bezeichnungen für Quantisierungsvarianten in llama.cpp. Die führende Zahl kennzeichnet eine grobe Bitklasse. Zusatzdaten und eine Mischung verschiedener Präzisionen bestimmen die tatsächliche Größe.
- AWQ / GPTQ / SpQR
- Verfahren, mit denen eine Quantisierung erzeugt wird. Für einen brauchbaren Vergleich gehören Methode, Bitzahl und das genaue Modell zusammen.
Grundlagen: Zahlendarstellungen · GGUF-Dokumentation · llama.cpp-Bezeichnungen.
05 · Für unsere Modellvergleiche
Die konkrete Variante braucht ihre eigene Messung
Ein guter Vergleich nennt den genauen Ausgangsstand, das Quantisierungsverfahren, die tatsächliche Dateigröße und Messungen unter denselben Bedingungen. Prompts, Denkbudget, Kontextlänge und Testumfang müssen zusammenpassen. Eine kleine Differenz ohne Angabe zur Streuung kann schlicht Messrauschen sein.
Was die Kennzahlen aussagen
Aufgabentests messen beispielsweise gelöste Programmier- oder Rechenaufgaben. Perplexität misst die Vorhersage von Text; niedriger ist besser. Sie ist ein nützlicher Hinweis, aber keine vollständige Prüfung von Assistenz, Werkzeugnutzung oder Reasoning.
Was für AA und Arena gilt
Ein AA- oder Arena-Wert gehört zur getesteten Modellvariante und Bereitstellung. Er wandert nicht automatisch auf eine quantisierte Datei. Fehlt eine eigene Messung, bleibt der Wert offen – genauso wie bei den Abliterated-Modellen.
Quantisierung und Abliteration sind zwei getrennte Veränderungen. Ist eine Datei beides, lässt sich aus einem einzigen Vergleich mit dem Ursprungsmodell nicht erkennen, welcher Eingriff einen Unterschied verursacht hat. Dafür braucht man passende Zwischenstufen oder sauber getrennte Tests.
Quellen & Einordnung
Nachvollziehbar statt pauschal
Recherchiert am 03.10.2026. Die Größentabelle ist eine eigene Rechnung. Die Qualitätswerte sind veröffentlichte Studienergebnisse, keine eigenen Modelltests. Dokumentationen können sich ändern; die verwendeten Paperfassungen sind verlinkt.
- Hugging Face · Quantization conceptsDarstellung, Skalierung, Gewichte und Aktivierungen
- AWQ · Activation-aware Weight QuantizationWarum die Wahl der Methode die Qualität beeinflusst
- Jin et al. · A Comprehensive Evaluation of Quantization Strategies2024 · Version 2 · Qualitätsbeispiele aus Tabelle 2 und Laufzeituntersuchung
- Li et al. · Quantization Meets Reasoning2026 · Version 4 · Aufgabenabhängige Fehler beim mathematischen Schlussfolgern
- Liu et al. · ParetoQ2025 · Version 2 · Training und sehr niedrige Bitzahlen
- llama.cpp · Definition der QuantisierungsblöckeUnter anderem die effektiven 4,5 Bit der Q4_K-Blöcke
- Hugging Face · GGUFAbgrenzung zwischen Dateiformat und Quantisierung
- vLLM · Quantized KV CacheKontextspeicher als getrennte Größe
- Hugging Face · Mixture of Experts in TransformersGesamtzahl gegenüber aktiven Parametern