Mixture of Experts.

01 · Die Architektur

Ein Experte ist ein Teilnetz im Modell

Bei einem klassischen, dichten Transformer durchlaufen Tokens weitgehend dieselben Rechenblöcke. Ein sparsames MoE ersetzt bestimmte Feedforward-Blöcke durch mehrere alternative Teilnetze: die Experten. Ein kleiner Router entscheidet anhand der aktuellen Token-Repräsentation, welche davon rechnen. Aufmerksamkeitsschichten und andere gemeinsame Komponenten bleiben zusätzlich beteiligt.

„Experte“ ist dabei ein technischer Name. Das Teilnetz erzeugt keine eigenständige Chatantwort. Es verarbeitet Zahlenvektoren innerhalb einer Schicht. Spezialisierung kann beim Training entstehen, entspricht aber nicht zwingend Kategorien wie „Mathematiker“, „Übersetzer“ oder „Programmierer“. Solche Beschriftungen wären anschaulich und oft falsch. Hugging Face: MoE in Transformers ↗

02 · Schritt für Schritt

Welcher Teil rechnet, wird immer wieder entschieden

Bei einem Top-2-Router werden zwei Experten ausgewählt. Ihre Ergebnisse fließen gewichtet zusammen und werden weiterverarbeitet. Diese Auswahl kann sich von Token zu Token und von Schicht zu Schicht ändern. Mixtral 8×7B verwendet beispielsweise acht Experten je Schicht und wählt davon jeweils zwei. Mixtral-Paper ↗

Ein Eingabetext mit vielen Tokens kann insgesamt zahlreiche Experten beschäftigen, obwohl je Token nur wenige aktiv sind. Deshalb bedeutet „2 von 8“ weder zwei Experten für die ganze Unterhaltung noch automatisch ein Viertel der gesamten Rechenzeit.

03 · Die beiden Größen

Gesamte Parameter speichern, aktive Parameter benutzen

Gesamte Parameter

Alle Gewichte des Modells: sämtliche Experten plus gemeinsame Komponenten. Diese Zahl ist für die vollständige Gewichtsdatei entscheidend.

Aktive Parameter

Die beim Verarbeiten eines Tokens verwendeten Gewichte, einschließlich gemeinsamer Teile. Sie helfen, den Rechenaufwand einzuordnen, sind aber keine Downloadgröße.

„A“ im Modellnamen

Bei Qwen3.8-2.4T-A95B nennt der Anbieter 2,4 Billionen Parameter insgesamt und 95 Milliarden aktive. T steht für eine Billion, B für eine Milliarde. Die Zählweise sollte immer in der Modellkarte geprüft werden. Qwen-Modellkarte ↗

Zwei dokumentierte Beispiele

Bei Mixtral ist „8×7B“ also keine Rechnung von acht vollständigen 7B-Modellen zu 56B. Teile der Architektur werden gemeinsam verwendet. Auch die Reihenfolge der Zahlen im Namen ist nicht einheitlich: OLMoE nennt in diesem Namen die aktive Zahl zuerst. Die Modellkarte schlägt die Kopfrechnung.

04 · Was das bringt

Mehr Kapazität bei begrenzter Rechenarbeit

MoE erlaubt, zusätzliche trainierbare Gewichte bereitzuhalten, ohne bei jedem Token alle auszuwerten. Das ist der wesentliche Vorteil: mehr Kapazität bei vergleichbarem Aufwand für die ausgewählten Experten. Die Switch-Transformer-Forschung untersucht diese Skalierung und zugleich Schwierigkeiten bei Kommunikation und stabilem Training. Switch Transformers ↗

05 · Verbindung zur Quantisierung

Die vollständige Datei enthält auch inaktive Experten

MoE bestimmt, welche Teile rechnen. Quantisierung bestimmt, wie genau deren Gewichte gespeichert werden. Beide Verfahren lassen sich kombinieren. Für eine einfache Größenrechnung braucht man die gesamten Parameter und die Bits je Gewicht; die aktive Parameterzahl gehört nicht in diese Rechnung.

Ein bewusst vereinfachtes Rechenbeispiel

Angenommen, ein Modell hätte 2 Milliarden gemeinsame Parameter und acht Experten mit jeweils 3 Milliarden Parametern. Pro Token wären zwei Experten aktiv. Alle Zahlen in diesem Beispiel sind frei gewählt.

Gesamt: 2 + 8 × 3 = 26 Milliarden
Aktiv: 2 + 2 × 3 = 8 Milliarden

Dezimale GB, ohne Metadaten, Skalen oder höherpräzise Ausnahmen. Keine gemessenen Größen eines realen Modells. Eine Rechnung mit den 8 Milliarden aktiven Parametern würde einen großen Teil der Datei unterschlagen.

In veröffentlichten Modellen können Experten und gemeinsame Teile unterschiedlich viele Bits verwenden. Manche Originale erscheinen schon in FP8 oder FP4. Dann ist eine „4-Bit-Variante“ nicht zwangsläufig viermal kleiner als das Original. Maßgeblich ist die konkrete Veröffentlichung. Auch eine Umwandlung in mehr Bits stellt vorher verlorene Genauigkeit nicht wieder her. Quantisierung ausführlich erklärt →

06 · Für unsere Modellvergleiche

Architektur, Datei und Leistungswert getrennt lesen

Die Übersicht zeigt bei Open Weight und Abliterated die belegte unquantisierte Größe in BF16/FP16. Ist keine solche Veröffentlichung belegt, bleibt der Wert offen. Sobald du eine dieser Modellgruppen auswählst, erscheinen zusätzlich Lizenz, veröffentlichte Downloadgrößen, Formate und Quantisierungsvarianten. Jede Größenangabe ist an eine bestimmte Repository-Version gebunden.

Für Abliterationen gilt dieselbe Trennung: Die quantisierte Variante muss von der ausgewählten Abliteration abstammen. Eine Datei des Originals ist kein Ersatz. Eigene AA- oder Arena-Messungen werden nur eingetragen, wenn sie für genau diese Variante belegt sind.