Wie viel Kontext wirklich in 32 GB passt

Neun von zehn Profilen begrenzt nicht der Speicher, sondern das Modell selbst

Unsere Maschine stellt zehn fertige Arbeitsprofile bereit. Neun davon stehen auf 262.144 Token Kontext – und das ist nicht die Grenze der Karten, sondern das Maximum, auf das diese Modelle trainiert wurden. Darüber hinaus kommt man nicht, egal wie viel Speicher man nachlegen würde.

Das ist die wichtigste Erkenntnis der ganzen Messreihe: Bei 32 GB passen moderne Modelle der Klasse 26–35 Milliarden Parameter mit dem vollen Kontext hinein, für den sie entworfen wurden. Mehr Speicher würde hier keinen einzigen Token zusätzlich kaufen.

Das einzige speicherbegrenzte Profil ist das 31-Milliarden-Modell mit Bild- und Videoverständnis – das Sehmodul und die separate Datei des Souffleurs (des kleinen Hilfsmodells, das beim Schreiben vorsagt) fressen Platz, der Kontext endet deshalb bei 167.936 Token. Das ist die engste Konfiguration im ganzen Satz: Nach voller Last bleiben auf den Karten 464 und 144 MB frei. Die nächste Stufe lädt schon nicht mehr.

Was Kontext kostet

Die Rechnung ist linear und leicht zu merken: rund 200–320 MB auf jeder Karte je 8.192 Token Kontext. Die Spanne kommt aus dem Aufbau des Modells – bei Bildverständnis kommt noch der Speicher des Souffleurs hinzu. Und warum der Speicher auf jeder der beiden Karten separat zählt, erklären wir im Artikel über die Aufteilung des Modells zwischen den Karten.

Die Spannweite zwischen Modellen kann groß sein. Ein Modell mit hybridem Aufmerksamkeitsaufbau verbraucht etwa 35 kB pro Token, ein klassisches Modell etwa 51 kB. Letzteres endet deshalb bei 208.000 statt 262.000 Token, obwohl es selbst bereit wäre weiterzuarbeiten. Der Aufbau des Modells bestimmt die Kontextkapazität also ebenso stark wie die Speichermenge.

Wie wir gemessen haben – und warum der offensichtliche Weg lügt

Drei Dinge erwiesen sich als entscheidend, und jedes davon ist eine Falle, in die man leicht tappt.

Den freien Speicher muss man nach der Arbeit auslesen, nicht nach dem Laden. Die Rechenbibliothek reserviert ihren Arbeitspuffer träge – erst bei der ersten echten Matrixmultiplikation. Ein Modell kann sich also mit scheinbarer Reserve „laden“ und bei der ersten Frage umkippen.

Den freien Speicher muss man direkt auslesen, nicht errechnen. Der Kartentreiber behält rund 423 MB für sich, die sich nicht belegen lassen. Das beliebte Subtrahieren „gesamt minus belegt“ überhöht das Ergebnis um genau diesen Wert – es zeigt 528 MB frei, wo real 106 geblieben sind.

Die Reserve erwies sich als statisch. Wir haben die Konfigurationen mit langen Anfragen beworfen – von tausend bis 227.000 Token, mit Modell-Neuladungen und mehrfacher Verarbeitung des vollen Kontexts. Eine Probe alle halbe Sekunde, 14.771 Messungen. Schwankung des freien Speichers: höchstens 2 MB, bei zwei Konfigurationen exakt null. Der Speicher wird im Voraus reserviert und rührt sich nicht.

Deshalb liegt unsere Zulassungsschwelle bei bescheidenen 100 MB frei auf jeder Karte. Würde die Belegung im Betrieb springen, bräuchten wir eine in Gigabyte bemessene Reserve. Sie springt nicht.

Die Überraschung: Weniger Kontext kann weniger Speicher übrig lassen

Das kontraintuitivste Ergebnis der ganzen Serie. Bei einem der Modelle haben wir den freien Speicher bei drei Kontexteinstellungen gemessen:

Kontext	Frei auf Karte 1	Frei auf Karte 2
262.144	1.372 MB	416 MB
212.992	536 MB	60 MB
180.224	1.026 MB	870 MB

Das Heruntergehen mit dem Kontext hat die Lage verschlechtert. Die Erklärung: Bei manchen Werten passen die Rechenpuffer nicht hinein, und der Server fällt in einen einfacheren Betriebsmodus zurück, der mehr spart, als der größere Gesprächsspeicher kostet. Jedes dieser Ergebnisse reproduziert sich bei weiteren Ladevorgängen auf das Megabyte genau.

Die praktische Folgerung: Den Kontext wählt man per Messung auf einem Werteraster, nicht per Extrapolation. Die Regel „weniger ist sicherer“ gilt hier nicht.

Zwei Dinge, die Speicher gratis hergaben

Ein Slot statt vier. Der Server richtet sich standardmäßig auf vier gleichzeitige Nutzer ein und reserviert dafür Puffer – auch dann, wenn es nur einen Nutzer gibt. Die Begrenzung auf einen Slot gab 240–770 MB pro Karte zurück, ohne Änderung des Kontexts und ohne Änderung der Geschwindigkeit. Der Preis ist eine Warteschlange: Die zweite Anfrage wartet auf die erste. Zu Hause ist das ein fairer Tausch.

Sparsamere Ablage des Gesprächsspeichers. Den Kontext kann man in voller Präzision halten oder komprimiert. Die Kompression kostet etwa 12 % der Genauigkeit dieses Puffers und bringt deutlich mehr Platz – wir nutzen sie überall dort, wo wir um Kontext kämpfen. Die stärkere Kompression haben wir verworfen: Sie verschlechtert die Antwortqualität spürbar.

Wie viel sind 262.000 Token

Das ist schwer vorstellbar, deshalb zwei Bezugspunkte. Ein solcher Kontext fasst mehrere hundert Seiten Text auf einmal – die komplette Dokumentation eines mittleren Projekts oder einen ganzen Satz Verträge zum Vergleichen. Im Programmiertest, in dem das Modell selbst mehrmodulige Projekte schrieb, lag der Spitzenverbrauch des Kontexts im Mittel bei 107.000–175.000 Token. Das heißt: Selbst bei intensiver Arbeit blieb Reserve.

Zum Vergleich – das einzige von uns getestete polnische Modell endet bei 32.768 Token. Nicht wegen der Karten, sondern weil es so entworfen wurde.

---

Messungen auf 2 × RTX 5070 Ti 16 GB. Freier Speicher nach voller Last ausgelesen, Zulassungsschwelle 100 MB pro Karte.