Die Modelle, die wir getestet haben – und die dauerhaft geblieben sind

Vier Dateien, zehn Arbeitsweisen

Ein Modell ist eine Datei auf der Festplatte, aber dieselbe Datei lässt sich auf mehrere Arten bereitstellen: mit Nachdenken oder ohne, mit Einstellungen fürs Gespräch oder für Code. Das kostet keinen Speicher – die Maschine hält ohnehin zu jedem Zeitpunkt ein Modell. So bedienen vier Dateien (zusammen rund 70 GB) zehn Profile.

Modell	Schreibt	Liest ein	Kontext	Sieht Bilder	Wofür es steht
Gemma 4, 26 Mrd. (Experten-Modell)	200/s	7.011/s	262 Tsd.	ja	Standard für alles
Qwen 3.6, 35 Mrd. (Experten-Modell)	132–185/s	4.970/s	262 Tsd.	nein	Programmieren und Agentenarbeit
Gemma 4, 31 Mrd. (klassisch)	72/s	2.204/s	164 Tsd.	ja	das beste Polnisch, Dokumente
Qwen 3.6, 27 Mrd. (klassisch)	59–72/s	2.100/s	262 Tsd.	nein	Aufgaben, die Präzision verlangen

Die Zahlen bedeuten Token pro Sekunde: das Schreiben der Antwort und das Einlesen des Eingabetexts.

Experten-Modell oder klassisch – der einzige Unterschied, den man verstehen muss

Ein klassisches Modell rechnet bei jedem Wort alle seine Parameter durch. Ein Experten-Modell teilt sich in viele spezialisierte Experten auf und aktiviert davon jeweils nur wenige – von 35 Milliarden Parametern arbeiten real drei. Der Effekt: Es ist bei gleicher Dateigröße deutlich schneller.

Das sieht nach reinem Gewinn aus, ist es aber nicht. Im Programmiertest, in dem die Modelle selbstständig Projekte schrieben, brauchten alle Varianten fast identisch lange – 3,78 bis 3,80 Stunden für den kompletten Satz von zehn Aufgaben, trotz eines zweieinhalbfachen Unterschieds in der Schreibgeschwindigkeit. Sie kamen auf verschiedenen Wegen ans Ziel: Das klassische generiert langsam, irrt sich aber selten (834 Schritte), das Experten-Modell generiert schnell und holt mit Versuchen auf (1.987 Schritte).

Der praktische Unterschied liegt woanders: Das klassische verbraucht 39 % weniger Kontext, was bei der Arbeit an einem bestehenden, großen Projekt zählt. Das Experten-Modell schafft mehr – 44 % mehr Tests und 26 % mehr Code.

Modellkompression: was wir hergeben und was nicht

Modelle werden in voller Präzision veröffentlicht, aber nach Hause lädt man die komprimierte Version – sonst würde nichts hineinpassen. Wir haben geprüft, wie viel Qualität diese Kompression real kostet.

Wir haben dasselbe Modell in drei Kompressionsstufen – stark, mittel, leicht – durch einen Aufgabensatz geschickt (Polnisch, Schlussfolgern, Code, Logikrätsel). Alle drei bestanden ohne Qualitätsunterschied. Die Rätsel wurden in jedem Durchlauf korrekt gelöst.

Die leichtere Kompression kostet dafür ganz konkret: beim klassischen Modell Geschwindigkeit und Kontext zugleich (der Wechsel auf die deutlich bessere Präzision bedeutet −25 % Geschwindigkeit), beim Experten-Modell fast ausschließlich Kontext. Wenn die Qualität nicht steigt und der Kontext sinkt – war die Wahl offensichtlich. In der Produktion steht die stark komprimierte Version.

Eine Ausnahme ist erwähnenswert. Die Gemma-Modelle werden schon während des Trainings auf die Kompression vorbereitet und vertragen sie deshalb außergewöhnlich gut. Auch deshalb liefern sie bei uns das beste Polnisch – unsere Muttersprache – im gesamten Feld; von derselben Sorgfalt profitieren auch andere Sprachen, etwa das Deutsche.

Was ausschied und warum

Das polnische Modell (Bielik, 11 Mrd.). Natürliches Polnisch, korrektes Schlussfolgern und sauberer Code, antwortet direkt ohne weitschweifiges Grübeln. Es scheiterte an zwei Dingen: Der Kontext endet bei 32.768 Token (eine Grenze des Modells selbst), und es unterstützt keine Beschleunigung durch den Souffleur, das kleine Vorsage-Modell. In einem Aufgebot, in dem der Rest auf 262.000 Token Kontext steht, ließ sich für es schwer eine Rolle finden.

Die kleineren Gemma-Modelle (12 Mrd.). Als einzige sehen sie Bild, Video und hören Ton, haben elegantes Polnisch und vernünftige Ergebnisse. Sie blieben außerhalb der Produktion, weil die größeren Modelle problemlos hineinpassen – und wenn sie hineinpassen, gibt es keinen Grund, tiefer zu gehen.

Das spezialisierte Code-Modell (30 Mrd.). Es hat ein anderes Format für Werkzeugaufrufe als der Rest und verlangt eine eigene Vorbereitung. Es wartet auf die Qualitätsbewertung; Kontext und Speicher sind bereits geprüft.

Das Einlesen folgt einer anderen Rangordnung als das Schreiben

Das lohnt sich zu trennen, denn die Modellwahl hängt davon ab, was man damit tut.

Beim Schreiben entscheidet der Speicherdurchsatz der Karte – hier gewinnen Experten-Modelle mit Souffleur (140–200 Token pro Sekunde). Beim Einlesen entscheidet die Rechenleistung, und beide Karten teilen sich die Arbeit tatsächlich. Die Rangordnung dreht sich: Große klassische Modelle schneiden hier dreimal schlechter ab als Experten-Modelle derselben Klasse, und kleine klassische Modelle rücken wieder nach oben, weil sie leichte Gewichte haben.

Die praktische Regel: Wenn die Anfrage vor allem Lesestoff ist (Projektüberblick, langes Dokument) – zählt das Einlesen. Wenn die Frage kurz und die Antwort lang ist – zählt das Schreiben.

Einstellungen können mehr kosten als die Modellwahl

Das überraschendste Ergebnis dieser Serie. Dasselbe Modell, dieselbe Datei, derselbe Speicher – der Unterschied lag nur in den vom Hersteller empfohlenen Generierungseinstellungen für den Modus ohne Nachdenken. Der Preis: 29 % Schreibgeschwindigkeit (132 gegenüber 185 Token pro Sekunde).

Der Mechanismus ist nachvollziehbar: Diese Einstellungen verändern die Verteilung der Wahrscheinlichkeiten für die nächsten Wörter, der Souffleur trifft also seltener, und die Beschleunigung aus der Spekulation schmilzt dahin. Die Folgerung für jeden, der eine solche Maschine abstimmt: Wiederholungsstrafen sind in einer Konfiguration mit Souffleur teurer als in einer gewöhnlichen – wer auf die Ausgabequalität schaut, sollte gleichzeitig auf die Geschwindigkeit schauen.

---

Alle Zahlen aus eigenen Messungen: 2 × RTX 5070 Ti 16 GB, ein Modell zur Zeit, gemessen über denselben Server, den wir täglich verwenden.