Hy4: Tencent alcanza silenciosamente a la cima de los modelos abiertos

Tencent entra al ring con un modelo de texto de 770B

La empresa china Tencent ha lanzado Hy4 Preview, un nuevo modelo de texto de pesos abiertos. Representa un salto masivo: 770 mil millones de parámetros totales (49 mil millones activos en una arquitectura de Mixture-of-Experts) y una ventana de contexto de 1 millón de tokens. Ocupa 1.56 TB en Hugging Face. La versión anterior de julio, Hy3, tenía «solo» 295 mil millones de parámetros y un contexto de 256K.

Un detalle interesante notado por Simon Willison en el archivo chat_template.jinja apunta a una capacidad de cadena de pensamiento incorporada: el modelo espera explícitamente una configuración de reasoning_effort ya sea high (predeterminado) o no_think.

Otro peso pesado se abre para los desarrolladores locales

Aunque el modelo es ciego (sin visión), su capacidad lo sitúa en la cima absoluta de los modelos de pesos abiertos actuales. Para los equipos que construyen sobre modelos abiertos con el hardware necesario, proporciona otra alternativa fuerte a Llama 3 o los modelos de Mistral y Qwen.

La capa de razonamiento incorporada y soportada de forma nativa también demuestra que «pensar» antes de responder se está convirtiendo en una característica estándar de los modelos más grandes, no solo dominio de OpenAI y su O1.

Inferencia costosa e inglés truncado

A pesar de la arquitectura MoE, descargar 1.56 TB de datos es un obstáculo enorme. Para la mayoría de los hackers locales, el modelo seguirá siendo accesible solo a través de API o proveedores especializados como OpenRouter.

Un hallazgo interesante de las pruebas es que el rastro de razonamiento oculto genera pensamientos en un inglés ligeramente truncado y agramatical («Better maybe no.»). Es probable que este sea el resultado de la optimización de la eficiencia de los tokens. El modelo no necesita una gramática perfecta en su razonamiento previo a la salida.

Cómo se defiende el modelo en los sistemas RAG de producción

Si el modelo gana tracción dependerá de su capacidad real para utilizar el contexto de un millón sin alucinar. Espere una ola masiva de pruebas de referencia Needle In A Haystack independientes y pruebas de estrés en los próximos días, lo que mostrará si vale la pena aprovisionar el hardware correspondiente para ello.

El veredicto de Lilith

El enorme modelo de texto de Tencent demuestra que el razonamiento nativo se está convirtiendo en la capa estándar para cualquiera que quiera jugar en las grandes ligas.