Dlaczego dwie karty mają sens: jak model dzieli się między nimi

Model to stos warstw, a warstwy da się rozdać

Model językowy jest zbudowany z kilkudziesięciu warstw ułożonych jedna na drugiej. Dane wchodzą w pierwszą, wynik przechodzi do drugiej, i tak do końca. Nasza konfiguracja rozcina ten stos w połowie: pierwsze warstwy trzyma karta pierwsza, pozostałe druga.

Co przechodzi przez granicę? Jeden wektor liczb — stan po ostatniej warstwie pierwszej karty. To kilka kilobajtów, przesyłane raz na przebieg. Właśnie dlatego ten sposób podziału działa na zwykłej płycie głównej, bez specjalnych mostków między kartami.

Cena jest jedna i trzeba ją powiedzieć wprost: karty pracują po kolei, nie równocześnie. Gdy liczy pierwsza, druga czeka. Przy generowaniu tekstu dwie karty nie dają więc dwukrotnej prędkości — dają dwukrotną pojemność. Ponieważ obie karty są identyczne, nie ma wolniejszego ogniwa, które psułoby całość.

Przy wczytywaniu długiego dokumentu sytuacja wygląda lepiej: tam pracy jest tyle, że obie karty realnie dzielą się obliczeniami. Stąd wynik 7000 tokenów na sekundę przy wczytywaniu wobec 200 tokenów na sekundę przy pisaniu — to dwa różne tryby pracy tej samej maszyny.

Sposoby podziału, które odrzuciliśmy

Zanim ustaliliśmy podział po warstwach, sprawdziliśmy alternatywy. Obie odpadły z konkretnych, sprawdzalnych powodów.

Podział po wierszach macierzy nie istnieje już w bibliotece, której używamy. Opcja nadal figuruje w pomocy programu, ale została usunięta z obsługi kart NVIDIA — próba użycia kończy się błędem, zanim cokolwiek trafi do pamięci karty. Żaden parametr tego nie odwróci.

Podział tensorowy (każda karta liczy kawałek tej samej warstwy równocześnie) teoretycznie daje prawdziwą równoległość. W praktyce rozbija się o dwie rzeczy. Po pierwsze, bufor roboczy alokuje się w pełnym rozmiarze na każdej karcie — czyli podwójnie — i nie mieści się nawet przy skromnym kontekście. Po drugie, nieudana alokacja nie cofa się łagodnie do prostszego trybu, tylko zabija proces.

Nawet gdyby działał, ta maszyna byłaby dla niego najgorszym możliwym gruntem: podział tensorowy wymaga synchronizacji kart po każdej warstwie, a między naszymi kartami nie ma szybkiego mostka — komunikacja idzie zwykłą magistralą płyty. Podział po warstwach przesyła jeden wektor na przebieg i dlatego wygrywa.

Jedna warstwa w tę czy w tamtą — i mamy więcej kontekstu

Podział nie musi być dokładnie po połowie. Warstwy mają różny ciężar, a do jednej z kart doklejają się dodatkowe elementy (na przykład moduł odpowiedzialny za rozumienie obrazu). W efekcie po załadowaniu modelu jedna karta bywa wypełniona po brzegi, a druga ma jeszcze zapas.

Przesunięcie jednej warstwy z ciaśniejszej karty na luźniejszą przenosi około 266 MB zapasu. Na modelu z obsługą obrazu ten jeden ruch kupił nam 24 576 tokenów kontekstu — mniej więcej tyle, co kilkadziesiąt stron tekstu więcej w jednej rozmowie, za darmo.

Warto znać ograniczenie: granulacja jest gruba. Przesuwa się całe warstwy, nie ułamki, a przy modelach o niewielu grubych warstwach jedna warstwa waży za dużo, żeby ten manewr się opłacił. Zwykle istnieje jedna sensowna wartość, a sąsiednie są gorsze od podziału po równo.

Drugi model, który podpowiada pierwszemu

Osobna sztuczka, niezwiązana z podziałem kart, ale odpowiadająca za sporą część prędkości: spekulacja. Obok dużego modelu pracuje maleńki, który zgaduje kilka następnych tokenów. Duży model zamiast generować je pojedynczo, sprawdza całą propozycję jednym ruchem — a sprawdzenie jest dużo tańsze niż wygenerowanie.

U nas ta technika działa w każdym modelu, który ją obsługuje, i przyspiesza pisanie od 1,3 do 2,4 raza. Zasada jest odwrotna do intuicyjnej: im wolniejszy model podstawowy, tym bardziej opłaca się zgadywanie, bo koszt jednej podpowiedzi jest prawie stały, a oszczędza coraz droższy krok.

Przy dwóch kartach dochodzi warunek, którego nie widać z zewnątrz: mały model musi siedzieć na tej samej karcie co końcowe warstwy dużego. Ustawiony niedbale — rozjeżdża się między karty i zamiast pomagać, kosztuje. Zmierzyliśmy różnicę: 27 wobec 119 tokenów na sekundę na tym samym modelu. Cała różnica polega na jednym parametrze mówiącym, gdzie ma zamieszkać podpowiadacz.

Ile to kosztuje dzisiaj

Ceny detaliczne w Polsce, sierpień 2026:

Wariant	Pamięć	Cena
RTX 5090 — jedna karta	32 GB	19 000–20 000 zł
RTX 5070 Ti — dwie karty	16 GB + 16 GB	9 000 zł

Para kart kosztuje 47% ceny flagowca przy identycznej pojemności pamięci. Do tego dochodzi wymóg, o którym łatwo zapomnieć: płyta główna musi mieć dwa gniazda z sensownym rozdziałem linii, a obudowa — miejsce na dwie karty i przepływ powietrza między nimi.

Te liczby trzeba traktować jako zdjęcie chwili, bo rynek idzie w jedną stronę. NVIDIA podniosła ceny w 2026 roku już dwukrotnie — o 10–15% w styczniu na całej linii RTX 50, a w maju na samym RTX 5090 — i zapowiadana jest trzecia korekta rzędu 20–30%. Przyczyną nie jest popyt na karty, tylko pamięć: Samsung podniósł ceny DRAM o około 20% w kwartale, a niedobór pamięci prognozuje się co najmniej do 2028 roku. Detal już to odczuwa — RTX 5090 osiągał w lipcu 2026 około 4 329 dolarów w amerykańskim sklepie, a wersje niereferencyjne przekraczały 5 000.

Dla kupującego wynika z tego jedno: podwyżka procentowa uderza mocniej w droższy wariant. Trzydzieści procent to około 2 700 zł przy parze kart i blisko 6 000 zł przy flagowcu. Różnica w cenie między tymi drogami nie maleje — rośnie.

Co z tego wynika przy zakupie

Dwie średnie karty dają pojemność flagowca za mniej niż połowę ceny, ale nie jego przepustowość. Jeśli liczy się rekord tokenów na sekundę przy jednym dużym modelu — wygra pojedyncza mocna karta. Jeśli liczy się to, jaki model i jak długi kontekst w ogóle się zmieści — dwie karty robią dokładnie tę samą robotę, taniej.

Warunek jest jeden: karty powinny być identyczne. Przy podziale po warstwach karty pracują po kolei, więc słabsza z pary wyznaczałaby tempo całości.

---

Wszystkie liczby wydajnościowe pochodzą z pomiarów naszej maszyny testowej: 2 × RTX 5070 Ti 16 GB, podział po warstwach, jeden model naraz. Ceny sprzętu: rynek polski, sierpień 2026 — sprawdź aktualne przed zakupem.

Źródła w sprawie podwyżek: ITHardware — NVIDIA podnosi ceny dla partnerów · PCFormat — trzecia podwyżka w 2026 roku · ThinkComputers — RTX 50 prices could jump another 30% · TechSpot — GPU pricing, mid-2026