I modelli che abbiamo testato — e quelli che sono rimasti
Per la macchina sono passate trentadue versioni configurate di modelli. In pianta stabile sono rimasti dieci profili di lavoro costruiti su quattro file. Ecco che cosa decideva la promozione e che cosa l'eliminazione — e perché il file più costoso non sempre è il migliore.
Quattro file, dieci modi di lavorare
Il modello è un file sul disco, ma lo stesso file si può esporre in più modi: con il ragionamento o senza, con impostazioni per la conversazione o per il codice. Questo non costa memoria — la macchina tiene comunque un modello alla volta. Così quattro file (circa 70 GB in tutto) servono dieci profili.
| Modello | Scrive | Legge | Contesto | Vede immagini | Dove è finito |
|---|---|---|---|---|---|
| Gemma 4, 26 mld (a esperti) | 200/s | 7011/s | 262 mila | sì | predefinito per tutto |
| Qwen 3.6, 35 mld (a esperti) | 132–185/s | 4970/s | 262 mila | no | codice e lavoro agentivo |
| Gemma 4, 31 mld (classico) | 72/s | 2204/s | 164 mila | sì | il miglior polacco, documenti |
| Qwen 3.6, 27 mld (classico) | 59–72/s | 2100/s | 262 mila | no | compiti che chiedono precisione |
I numeri sono token al secondo: scrittura della risposta e lettura del testo in ingresso.
A esperti o classico — l’unica differenza da capire
Il modello classico a ogni parola ricalcola tutti i suoi parametri. Il modello a esperti è diviso in molti esperti specializzati e ne attiva solo alcuni alla volta — di 35 miliardi di parametri ne lavorano davvero tre. Risultato: è molto più veloce a parità di dimensione del file.
Sembra un guadagno puro, ma non lo è. Nel test di programmazione, in cui i modelli scrivevano progetti in autonomia, tutte le varianti hanno impiegato un tempo quasi identico — da 3,78 a 3,80 ore per la serie completa di dieci compiti, nonostante una differenza di due volte e mezzo nella velocità di scrittura. Arrivavano alla meta per strade diverse: il classico genera lentamente ma sbaglia di rado (834 passi), quello a esperti genera in fretta e recupera con i tentativi (1987 passi).
La differenza pratica sta altrove: il classico consuma il 39% di contesto in meno, il che conta lavorando su un progetto esistente e grande. Quello a esperti produce di più — il 44% di test in più e il 26% di codice in più.
Compressione del modello: dove cediamo e dove no
I modelli vengono pubblicati in precisione piena, ma a casa si scarica la versione compressa — altrimenti non ci starebbe nulla. Abbiamo verificato quanto questa compressione costi davvero in qualità.
Abbiamo fatto passare per un set di compiti (polacco, ragionamento, codice, rompicapi logici) lo stesso modello in tre gradi di compressione: forte, media e leggera. Tutte e tre le versioni hanno superato le prove senza differenze di qualità. Rompicapi risolti correttamente in ogni esecuzione.
La compressione più leggera, in compenso, costa in modo concreto: nel modello classico velocità e contesto insieme (il passaggio a una precisione nettamente migliore vale −25% di velocità), in quello a esperti quasi soltanto contesto. Se la qualità non migliora e il contesto cala — la scelta era ovvia. In produzione gira la versione fortemente compressa.
C’è un’eccezione degna di nota. I modelli Gemma vengono preparati alla compressione già durante l’addestramento, quindi la reggono eccezionalmente bene. È anche per questo che da noi hanno il miglior polacco — la nostra lingua madre — di tutta la gamma; e trattandosi di modelli multilingue, c’è da aspettarsi lo stesso nella tua lingua.
Che cosa è caduto e perché
Il modello polacco (Bielik, 11 mld). Polacco naturale, ragionamento e codice corretti, risponde dritto senza riflessioni prolisse. È caduto su due cose: il contesto finisce a 32.768 token (limite del modello stesso) e non supporta l’accelerazione tramite suggeritore. In un set dove il resto sta su 262 mila token di contesto, gli è stato difficile trovare un impiego.
I modelli Gemma più piccoli (12 mld). Sono gli unici a vedere immagini, video e a sentire l’audio, hanno un polacco elegante e risultati sensati. Sono rimasti fuori dalla produzione perché i modelli più grandi ci stanno senza problemi — e se ci stanno, non c’è motivo di scendere.
Il modello specializzato per il codice (30 mld). Ha un formato di chiamata degli strumenti diverso dal resto e richiede una preparazione a parte. Aspetta la valutazione di qualità; contesto e memoria li ha già verificati.
La lettura segue un ordine diverso dalla scrittura
Vale la pena separarle, perché la scelta del modello dipende da che cosa ci si fa.
Nella scrittura decide la banda della memoria della scheda — qui vincono i modelli a esperti con il suggeritore (140–200 token al secondo). Nella lettura decide la potenza di calcolo e le due schede si dividono davvero il lavoro. L’ordine cambia: i grandi modelli classici vanno qui tre volte peggio di quelli a esperti della stessa classe, e i piccoli modelli classici risalgono in alto, perché hanno pesi leggeri.
Regola pratica: quando la richiesta è soprattutto materiale da leggere (rassegna di un progetto, documento lungo) — conta la lettura. Quando la domanda è corta e la risposta lunga — conta la scrittura.
Le impostazioni possono costare più della scelta del modello
Il risultato più sorprendente di questa serie. Stesso modello, stesso file, stessa memoria — l’unica differenza nelle impostazioni di generazione raccomandate dal produttore per la modalità senza ragionamento. Costo: 29% di velocità di scrittura (132 contro 185 token al secondo).
Il meccanismo è comprensibile: quelle impostazioni cambiano la distribuzione di probabilità delle parole successive, quindi il suggeritore indovina più di rado e l’accelerazione da speculazione si scioglie. Conclusione per chiunque metta a punto una macchina così: le penalità per le ripetizioni costano di più in una configurazione con il suggeritore che in una normale — guardando la qualità dell’output, conviene guardare insieme anche la velocità.
Tutti i numeri da misurazioni nostre: 2 × RTX 5070 Ti 16 GB, un modello alla volta, misura attraverso lo stesso server che usiamo ogni giorno.