Modele, które przetestowaliśmy — i które zostały na stałe

Cztery pliki, dziesięć sposobów pracy

Model to jeden plik na dysku, ale ten sam plik można wystawić na kilka sposobów: z rozumowaniem albo bez, z ustawieniami pod rozmowę albo pod kod. To nie kosztuje pamięci — maszyna i tak trzyma w danej chwili jeden model. Stąd cztery pliki (razem około 70 GB) obsługują dziesięć profili.

Model	Pisze	Wczytuje	Kontekst	Widzi obraz	Do czego trafił
Gemma 4, 26 mld (rozproszony)	200/s	7011/s	262 tys.	tak	domyślny do wszystkiego
Qwen 3.6, 35 mld (rozproszony)	132–185/s	4970/s	262 tys.	nie	kodowanie i praca agentowa
Gemma 4, 31 mld (klasyczny)	72/s	2204/s	164 tys.	tak	najlepsza polszczyzna, dokumenty
Qwen 3.6, 27 mld (klasyczny)	59–72/s	2100/s	262 tys.	nie	zadania wymagające precyzji

Liczby oznaczają tokeny na sekundę: pisanie odpowiedzi i wczytywanie tekstu wejściowego.

Rozproszony czy klasyczny — jedyna różnica, którą trzeba zrozumieć

Model klasyczny przy każdym słowie przelicza wszystkie swoje parametry. Model rozproszony dzieli się na wielu wyspecjalizowanych ekspertów i uruchamia tylko kilku z nich naraz — z 35 miliardów parametrów pracują realnie trzy. Efekt: jest znacznie szybszy przy tej samej wielkości pliku.

Wygląda to na czysty zysk, ale nie jest. W teście programistycznym, gdzie modele samodzielnie pisały projekty, wszystkie warianty zajęły niemal identyczny czas — od 3,78 do 3,80 godziny na komplet dziesięciu zadań, mimo dwuipółkrotnej różnicy w szybkości pisania. Dochodziły do celu różnymi drogami: klasyczny generuje wolno, ale rzadko się myli (834 kroki), rozproszony generuje szybko i nadrabia próbami (1987 kroków).

Praktyczna różnica leży gdzie indziej: klasyczny zużywa o 39% mniej kontekstu, co ma znaczenie przy pracy na istniejącym, dużym projekcie. Rozproszony robi więcej — o 44% więcej testów i o 26% więcej kodu.

Kompresja modelu: co odpuszczamy, a co nie

Modele udostępnia się w wersji pełnej precyzji, ale do domu pobiera się wersję skompresowaną — inaczej nic by się nie zmieściło. Sprawdziliśmy, ile ta kompresja realnie kosztuje jakości.

Przepuściliśmy przez zestaw zadań (polski, rozumowanie, kod, łamigłówki logiczne) ten sam model w trzech stopniach kompresji: mocnej, średniej i lekkiej. Wszystkie trzy zdały bez różnicy w jakości. Łamigłówki rozwiązane poprawnie w każdym przebiegu.

Lżejsza kompresja kosztuje za to konkretnie: u modelu klasycznego jednocześnie prędkość i kontekst (przejście na wyraźnie lepszą precyzję to −25% prędkości), u rozproszonego prawie wyłącznie kontekst. Skoro jakość się nie poprawia, a kontekst spada — wybór był oczywisty. Na produkcji stoi wersja mocno skompresowana.

Jest jeden wyjątek wart uwagi. Modele Gemma są przygotowywane do kompresji już w trakcie trenowania, więc znoszą ją wyjątkowo dobrze. To między innymi dlatego mają u nas najlepszą polszczyznę w całej stawce.

Co odpadło i dlaczego

Model polski (Bielik, 11 mld). Naturalna polszczyzna, poprawne rozumowanie i kod, odpowiada wprost bez rozwlekłego namyślania. Odpadł na dwóch rzeczach: kontekst kończy się na 32 768 tokenach (ograniczenie samego modelu) i nie obsługuje przyspieszenia przez podpowiadacz. Przy zestawie, gdzie reszta stoi na 262 tysiącach tokenów kontekstu, trudno mu było znaleźć zastosowanie.

Mniejsze modele Gemma (12 mld). Jako jedyne widzą obraz, wideo i słyszą dźwięk, mają elegancki polski i sensowne wyniki. Zostały poza produkcją, bo większe modele mieszczą się bez problemu — a skoro się mieszczą, to nie ma powodu schodzić niżej.

Wyspecjalizowany model do kodu (30 mld). Ma inny format wywoływania narzędzi niż reszta i wymaga osobnego przygotowania. Czeka na ocenę jakości; kontekst i pamięć ma już sprawdzone.

Wczytywanie rządzi się inną kolejnością niż pisanie

Warto to rozdzielić, bo wybór modelu zależy od tego, co się z nim robi.

Przy pisaniu decyduje przepustowość pamięci karty — tu wygrywają modele rozproszone z podpowiadaczem (140–200 tokenów na sekundę). Przy wczytywaniu decyduje moc obliczeniowa i obie karty realnie dzielą się pracą. Kolejność się zmienia: duże modele klasyczne wypadają tu trzykrotnie gorzej od rozproszonych tej samej klasy, a małe modele klasyczne wracają wysoko, bo mają lekkie wagi.

Reguła praktyczna: gdy zapytanie to głównie materiał do przeczytania (przegląd projektu, długi dokument) — liczy się wczytywanie. Gdy pytanie jest krótkie, a odpowiedź długa — liczy się pisanie.

Ustawienia potrafią kosztować więcej niż wybór modelu

Najbardziej zaskakujący wynik z tej serii. Ten sam model, ten sam plik, ta sama pamięć — różnica tylko w ustawieniach generowania zalecanych przez producenta dla trybu bez rozumowania. Koszt: 29% prędkości pisania (132 wobec 185 tokenów na sekundę).

Mechanizm jest zrozumiały: te ustawienia zmieniają rozkład prawdopodobieństwa kolejnych słów, więc podpowiadacz trafia rzadziej i przyspieszenie ze spekulacji topnieje. Wniosek dla każdego, kto stroi taką maszynę: kary za powtórzenia są w konfiguracji z podpowiadaczem droższe niż w zwykłej — patrząc na jakość wyjścia, warto patrzeć równocześnie na prędkość.

---

Wszystkie liczby z pomiarów własnych: 2 × RTX 5070 Ti 16 GB, jeden model naraz, pomiar przez ten sam serwer, którego używamy na co dzień.