Os modelos que testámos — e os que ficaram em permanência

Quatro ficheiros, dez modos de trabalho

Um modelo é um ficheiro no disco, mas o mesmo ficheiro pode expor-se de várias maneiras: com raciocínio ou sem, com definições para conversa ou para código. Isto não custa memória — a máquina mantém, de qualquer forma, um modelo de cada vez. Daí que quatro ficheiros (cerca de 70 GB no total) sirvam dez perfis.

Modelo	Escreve	Lê	Contexto	Vê imagem	Para onde foi
Gemma 4, 26 mil milhões (especialistas)	200/s	7011/s	262 mil	sim	padrão para tudo
Qwen 3.6, 35 mil milhões (especialistas)	132–185/s	4970/s	262 mil	não	programação e trabalho de agente
Gemma 4, 31 mil milhões (clássico)	72/s	2204/s	164 mil	sim	o melhor polaco da seleção, documentos
Qwen 3.6, 27 mil milhões (clássico)	59–72/s	2100/s	262 mil	não	tarefas que exigem precisão

Os números são tokens por segundo: escrita da resposta e leitura do texto de entrada.

De especialistas ou clássico — a única diferença que é preciso entender

O modelo clássico recalcula todos os seus parâmetros a cada palavra. O modelo de especialistas divide-se em muitos especialistas dedicados e ativa apenas alguns de cada vez — dos 35 mil milhões de parâmetros trabalham, na prática, três. Efeito: é muito mais rápido com o mesmo tamanho de ficheiro.

Parece lucro puro, mas não é. No teste de programação, em que os modelos escreviam projetos sozinhos, todas as variantes demoraram um tempo quase idêntico — de 3,78 a 3,80 horas para o conjunto de dez tarefas, apesar de uma diferença de duas vezes e meia na velocidade de escrita. Chegavam ao destino por caminhos diferentes: o clássico gera devagar, mas raramente se engana (834 passos); o de especialistas gera depressa e compensa com tentativas (1987 passos).

A diferença prática está noutro lugar: o clássico consome menos 39% de contexto, o que tem importância ao trabalhar sobre um projeto grande já existente. O de especialistas faz mais — mais 44% de testes e mais 26% de código.

Compressão do modelo: onde cedemos e onde não

Os modelos são publicados em versão de precisão completa, mas para casa descarrega-se a versão comprimida — de outro modo nada caberia. Fomos ver quanto essa compressão custa realmente em qualidade.

Passámos pelo mesmo conjunto de tarefas (polaco, raciocínio, código, quebra-cabeças lógicos) o mesmo modelo em três graus de compressão: forte, média e leve. Os três passaram sem diferença de qualidade. Os quebra-cabeças, resolvidos corretamente em todas as passagens.

A compressão mais leve, essa, custa coisas concretas: no modelo clássico, velocidade e contexto ao mesmo tempo (passar para uma precisão claramente melhor são −25% de velocidade); no de especialistas, quase só contexto. Se a qualidade não melhora e o contexto cai — a escolha era óbvia. Em produção está a versão fortemente comprimida.

Há uma exceção digna de nota. Os modelos Gemma são preparados para a compressão ainda durante o treino, por isso suportam-na excecionalmente bem. É também por isso que têm, na nossa seleção, o melhor polaco — a nossa língua nativa, e uma das mais difíceis de acertar; o que vale para ela deverá valer igualmente para o seu português.

O que caiu e porquê

O modelo polaco (Bielik, 11 mil milhões). Polaco natural, raciocínio e código corretos, responde diretamente, sem ponderações arrastadas. Caiu por duas coisas: o contexto acaba nos 32 768 tokens (limitação do próprio modelo) e não suporta a aceleração pelo modelo auxiliar. Num conjunto em que o resto assenta em 262 mil tokens de contexto, foi-lhe difícil encontrar aplicação.

Os Gemma mais pequenos (12 mil milhões). São os únicos que veem imagem, vídeo e ouvem som, têm um polaco elegante e resultados razoáveis. Ficaram fora de produção porque os modelos maiores cabem sem problema — e, se cabem, não há razão para descer.

O modelo especializado em código (30 mil milhões). Tem um formato de chamada de ferramentas diferente do resto e exige uma preparação à parte. Aguarda avaliação de qualidade; o contexto e a memória já os tem verificados.

A leitura obedece a uma ordem diferente da escrita

Vale a pena separar isto, porque a escolha do modelo depende do que se faz com ele.

Na escrita decide a largura de banda da memória da placa — aqui ganham os modelos de especialistas com modelo auxiliar (140–200 tokens por segundo). Na leitura decide o poder de cálculo, e as duas placas repartem de facto o trabalho. A ordem muda: os grandes modelos clássicos saem-se aqui três vezes pior do que os de especialistas da mesma classe, e os pequenos modelos clássicos voltam a subir, porque têm pesos leves.

Regra prática: quando o pedido é sobretudo material para ler (revisão de um projeto, um documento longo) — conta a leitura. Quando a pergunta é curta e a resposta longa — conta a escrita.

As definições podem custar mais do que a escolha do modelo

O resultado mais surpreendente desta série. O mesmo modelo, o mesmo ficheiro, a mesma memória — a diferença apenas nas definições de geração recomendadas pelo fabricante para o modo sem raciocínio. Custo: 29% da velocidade de escrita (132 contra 185 tokens por segundo).

O mecanismo é compreensível: essas definições alteram a distribuição de probabilidade das palavras seguintes, pelo que o modelo auxiliar acerta menos vezes e a aceleração da especulação derrete. Conclusão para quem afina uma máquina destas: as penalizações por repetição saem mais caras numa configuração com modelo auxiliar do que numa normal — ao olhar para a qualidade da saída, convém olhar ao mesmo tempo para a velocidade.

---

Todos os números vêm de medições próprias: 2 × RTX 5070 Ti 16 GB, um modelo de cada vez, medição através do mesmo servidor que usamos no dia a dia.