Warum zwei Grafikkarten sinnvoll sind: wie sich das Modell zwischen ihnen aufteilt

Ein Modell ist ein Stapel von Schichten – und Schichten lassen sich verteilen

Ein Sprachmodell besteht aus einigen Dutzend Schichten, die übereinanderliegen. Die Daten gehen in die erste hinein, das Ergebnis wandert in die zweite, und so weiter bis zum Ende. Unsere Konfiguration schneidet diesen Stapel in der Mitte durch: Die ersten Schichten hält die erste Karte, die übrigen die zweite.

Was überquert die Grenze? Ein einziger Zahlenvektor – der Zustand nach der letzten Schicht der ersten Karte. Das sind ein paar Kilobyte, übertragen einmal pro Durchlauf. Genau deshalb funktioniert diese Art der Aufteilung auf einem gewöhnlichen Mainboard, ohne spezielle Brücken zwischen den Karten.

Der Preis dafür ist einer, und man muss ihn klar benennen: Die Karten arbeiten nacheinander, nicht gleichzeitig. Wenn die erste rechnet, wartet die zweite. Beim Erzeugen von Text liefern zwei Karten also nicht die doppelte Geschwindigkeit – sie liefern die doppelte Kapazität. Da beide Karten identisch sind, gibt es kein langsameres Glied, das das Ganze verderben würde.

Beim Einlesen eines langen Dokuments sieht es besser aus: Dort fällt so viel Arbeit an, dass sich beide Karten die Berechnungen tatsächlich teilen. Daher das Ergebnis von 7.000 Token pro Sekunde beim Einlesen gegenüber 200 Token pro Sekunde beim Schreiben – das sind zwei verschiedene Betriebsarten derselben Maschine.

Aufteilungen, die wir verworfen haben

Bevor wir uns auf die Aufteilung nach Schichten festlegten, haben wir die Alternativen geprüft. Beide fielen aus konkreten, nachprüfbaren Gründen durch.

Die Aufteilung nach Matrixzeilen existiert in der Bibliothek, die wir verwenden, nicht mehr. Die Option steht noch in der Programmhilfe, wurde aber für NVIDIA-Karten aus dem Code entfernt – ein Versuch endet mit einem Fehler, bevor irgendetwas im Kartenspeicher landet. Kein Parameter macht das rückgängig.

Die Tensor-Aufteilung (jede Karte rechnet gleichzeitig an einem Stück derselben Schicht) liefert theoretisch echte Parallelität. In der Praxis scheitert sie an zwei Dingen. Erstens wird der Arbeitspuffer in voller Größe auf jeder Karte angelegt – also doppelt – und passt schon bei bescheidenem Kontext nicht mehr hinein. Zweitens fällt eine fehlgeschlagene Reservierung nicht sanft in einen einfacheren Modus zurück, sondern beendet den Prozess.

Selbst wenn sie funktionierte, wäre diese Maschine der denkbar schlechteste Boden dafür: Die Tensor-Aufteilung verlangt eine Synchronisierung der Karten nach jeder Schicht, und zwischen unseren Karten gibt es keine schnelle Brücke – die Kommunikation läuft über den gewöhnlichen Bus des Mainboards. Die Aufteilung nach Schichten überträgt einen Vektor pro Durchlauf und gewinnt deshalb.

Eine Schicht hierhin oder dorthin – und wir haben mehr Kontext

Die Aufteilung muss nicht exakt in der Mitte liegen. Schichten sind unterschiedlich schwer, und an eine der Karten hängen sich zusätzliche Elemente (zum Beispiel das Modul für das Bildverständnis). Nach dem Laden des Modells ist deshalb die eine Karte manchmal bis zum Rand gefüllt, während die andere noch Reserve hat.

Das Verschieben einer einzigen Schicht von der engeren auf die luftigere Karte verlagert rund 266 MB Reserve. Beim Modell mit Bildverständnis brachte dieser eine Handgriff 24.576 Token Kontext – ungefähr einige Dutzend Seiten Text mehr in einem Gespräch, gratis.

Die Einschränkung sollte man kennen: Die Körnung ist grob. Verschoben werden ganze Schichten, keine Bruchteile, und bei Modellen mit wenigen dicken Schichten wiegt eine Schicht zu viel, als dass sich das Manöver lohnte. Meist gibt es genau einen sinnvollen Wert, und die Nachbarwerte sind schlechter als die Aufteilung halbe-halbe.

Das zweite Modell, das dem ersten souffliert

Ein eigener Trick, unabhängig von der Kartenaufteilung, aber für einen guten Teil der Geschwindigkeit verantwortlich: die Spekulation. Neben dem großen Modell arbeitet ein winziger Souffleur, der die nächsten paar Token errät. Das große Modell erzeugt sie dann nicht einzeln, sondern prüft den ganzen Vorschlag in einem Zug – und Prüfen ist viel billiger als Erzeugen.

Bei uns funktioniert diese Technik in jedem Modell, das sie unterstützt, und beschleunigt das Schreiben um das 1,3- bis 2,4-Fache. Die Regel ist der Intuition entgegengesetzt: Je langsamer das Grundmodell, desto mehr lohnt sich das Raten, denn die Kosten eines Vorschlags sind nahezu konstant, eingespart wird aber ein immer teurerer Schritt.

Bei zwei Karten kommt eine Bedingung hinzu, die man von außen nicht sieht: Das kleine Modell muss auf derselben Karte sitzen wie die letzten Schichten des großen. Nachlässig eingerichtet, verteilt es sich über beide Karten und kostet, statt zu helfen. Wir haben den Unterschied gemessen: 27 gegenüber 119 Token pro Sekunde beim selben Modell. Der ganze Unterschied steckt in einem einzigen Parameter, der festlegt, wo der Souffleur wohnen soll.

Was das heute kostet

Europäische Straßenpreise, August 2026:

Variante	Speicher	Preis
RTX 5090 – eine Karte	32 GB	4.400–4.650 € (5.100–5.350 $)
RTX 5070 Ti – zwei Karten	16 GB + 16 GB	2.100 € (2.400 $)

Das Kartenpaar kostet 47 % des Flaggschiff-Preises bei identischer Speicherkapazität. Dazu kommt eine Anforderung, die leicht vergessen wird: Das Mainboard braucht zwei Steckplätze mit vernünftiger Aufteilung der Lanes, das Gehäuse Platz für zwei Karten und Luftstrom dazwischen.

Diese Zahlen sind als Momentaufnahme zu verstehen, denn der Markt bewegt sich in eine Richtung. NVIDIA hat die Preise 2026 bereits zweimal angehoben – um 10–15 % im Januar für die gesamte RTX-50-Reihe und im Mai für die RTX 5090 allein – und eine dritte Korrektur in der Größenordnung von 20–30 % ist angekündigt. Die Ursache ist nicht die Nachfrage nach Karten, sondern der Speicher: Samsung hat die DRAM-Preise um rund 20 % im Quartal angehoben, und die Speicherknappheit wird mindestens bis 2028 prognostiziert. Der Handel spürt das bereits – die RTX 5090 erreichte im Juli 2026 rund 4.329 $ (US-Handel), Custom-Versionen überschritten 5.000 $.

Für den Käufer folgt daraus eines: Eine prozentuale Erhöhung trifft die teurere Variante härter. Dreißig Prozent sind rund 630 € (720 $) beim Kartenpaar und knapp 1.390 € (1.600 $) beim Flaggschiff. Der Preisabstand zwischen den beiden Wegen schrumpft nicht – er wächst.

Was daraus für den Kauf folgt

Zwei Mittelklasse-Karten liefern die Kapazität des Flaggschiffs für weniger als den halben Preis, aber nicht dessen Durchsatz. Wenn der Rekord an Token pro Sekunde bei einem einzelnen großen Modell zählt – gewinnt die einzelne starke Karte. Wenn zählt, welches Modell und wie langer Kontext überhaupt hineinpassen – machen zwei Karten exakt dieselbe Arbeit, günstiger.

Eine Bedingung gibt es: Die Karten sollten identisch sein. Bei der Aufteilung nach Schichten arbeiten die Karten nacheinander, die schwächere des Paars würde also das Tempo des Ganzen vorgeben.

---

Alle Leistungszahlen stammen aus Messungen an unserer Testmaschine: 2 × RTX 5070 Ti 16 GB, Aufteilung nach Schichten, ein Modell zur Zeit. Hardware-Preise: europäischer Markt, August 2026 – prüfen Sie vor dem Kauf die aktuellen.

Quellen zu den Preiserhöhungen: ThinkComputers – RTX 50 prices could jump another 30% · TechSpot – GPU pricing, mid-2026