Los modelos que probamos — y los que se quedaron para siempre

Cuatro archivos, diez formas de trabajar

Un modelo es un archivo en el disco, pero el mismo archivo puede exponerse de varias maneras: con razonamiento o sin él, con ajustes para conversación o para código. Eso no cuesta memoria — la máquina mantiene de todas formas un solo modelo en cada momento. De ahí que cuatro archivos (unos 70 GB en total) sirvan diez perfiles.

Modelo	Escribe	Lee	Contexto	Ve imágenes	Dónde acabó
Gemma 4, 26 mil mill. (de expertos)	200/s	7011/s	262 000	sí	el predeterminado para todo
Qwen 3.6, 35 mil mill. (de expertos)	132–185/s	4970/s	262 000	no	programación y trabajo de agente
Gemma 4, 31 mil mill. (clásico)	72/s	2204/s	164 000	sí	el mejor polaco de la lista, documentos
Qwen 3.6, 27 mil mill. (clásico)	59–72/s	2100/s	262 000	no	tareas que exigen precisión

Las cifras son tokens por segundo: escritura de la respuesta y lectura del texto de entrada.

De expertos o clásico — la única diferencia que hay que entender

El modelo clásico recalcula todos sus parámetros con cada palabra. El modelo de expertos se divide en muchos especialistas y activa solo unos pocos a la vez — de 35 mil millones de parámetros trabajan realmente tres mil millones. El efecto: es mucho más rápido con el mismo tamaño de archivo.

Parece ganancia pura, pero no lo es. En el test de programación, donde los modelos escribían proyectos por su cuenta, todas las variantes tardaron un tiempo casi idéntico — de 3,78 a 3,80 horas para el conjunto de diez tareas, pese a una diferencia de dos veces y media en la velocidad de escritura. Llegaban a la meta por caminos distintos: el clásico genera despacio pero rara vez se equivoca (834 pasos), el de expertos genera rápido y lo compensa a base de intentos (1987 pasos).

La diferencia práctica está en otro sitio: el clásico consume un 39 % menos de contexto, lo que importa al trabajar sobre un proyecto grande ya existente. El de expertos hace más — un 44 % más de pruebas y un 26 % más de código.

Compresión del modelo: qué cedemos y qué no

Los modelos se publican en versión de precisión completa, pero a casa se descarga la versión comprimida — de otro modo no cabría nada. Comprobamos cuánto le cuesta de verdad esa compresión a la calidad.

Pasamos por un conjunto de tareas (polaco, razonamiento, código, acertijos lógicos) el mismo modelo en tres grados de compresión: fuerte, media y ligera. Las tres aprobaron sin diferencia de calidad. Los acertijos, resueltos correctamente en todas las pasadas.

La compresión más ligera, en cambio, cuesta algo concreto: en el modelo clásico, velocidad y contexto a la vez (pasar a una precisión claramente mejor supone un −25 % de velocidad); en el de expertos, casi exclusivamente contexto. Si la calidad no mejora y el contexto baja — la elección era obvia. En producción está la versión fuertemente comprimida.

Hay una excepción que merece atención. Los modelos Gemma se preparan para la compresión ya durante el entrenamiento, así que la soportan excepcionalmente bien. Es, entre otras cosas, por lo que ofrecen el mejor polaco — nuestro idioma nativo — de toda la lista; cabe esperar lo mismo en tu idioma, incluido el español.

Qué quedó eliminado y por qué

El modelo polaco (Bielik, 11 mil millones). Polaco natural, razonamiento y código correctos, responde directamente sin reflexiones interminables. Cayó por dos cosas: el contexto se acaba en 32 768 tokens (limitación del propio modelo) y no soporta la aceleración mediante apuntador. En un conjunto donde el resto está en 262 000 tokens de contexto, le costaba encontrar un sitio.

Los modelos Gemma pequeños (12 mil millones). Son los únicos que ven imagen, vídeo y oyen sonido, tienen un polaco elegante y resultados razonables. Se quedaron fuera de producción porque los modelos grandes caben sin problema — y si caben, no hay motivo para bajar.

El modelo especializado en código (30 mil millones). Usa un formato de llamada de herramientas distinto al del resto y requiere una preparación aparte. Espera la evaluación de calidad; el contexto y la memoria ya los tiene comprobados.

La lectura se rige por un orden distinto al de la escritura

Merece la pena separarlo, porque la elección del modelo depende de lo que se haga con él.

En la escritura decide el ancho de banda de memoria de la tarjeta — aquí ganan los modelos de expertos con apuntador (140–200 tokens por segundo). En la lectura decide la potencia de cálculo y las dos tarjetas se reparten el trabajo de verdad. El orden cambia: los modelos clásicos grandes salen aquí tres veces peor que los de expertos de su misma clase, y los modelos clásicos pequeños vuelven arriba porque tienen pesos ligeros.

Regla práctica: cuando la consulta es sobre todo material para leer (revisión de un proyecto, un documento largo) — cuenta la lectura. Cuando la pregunta es corta y la respuesta larga — cuenta la escritura.

Los ajustes pueden costar más que la elección del modelo

El resultado más sorprendente de esta serie. El mismo modelo, el mismo archivo, la misma memoria — la única diferencia, los ajustes de generación recomendados por el fabricante para el modo sin razonamiento. El coste: un 29 % de la velocidad de escritura (132 frente a 185 tokens por segundo).

El mecanismo es comprensible: esos ajustes cambian la distribución de probabilidad de las palabras siguientes, así que el apuntador acierta menos y la aceleración de la especulación se derrite. Conclusión para cualquiera que afine una máquina así: las penalizaciones por repetición salen más caras en una configuración con apuntador que en una normal — al mirar la calidad de la salida, conviene mirar a la vez la velocidad.

---

Todas las cifras proceden de mediciones propias: 2 × RTX 5070 Ti 16 GB, un modelo cada vez, medición a través del mismo servidor que usamos a diario.