Mollick sitúa Gemini 4 entre los mejores, pero lo mide con su propio trabajo

Ethan Mollick afirma que pasó bastante tiempo con Gemini 4 antes del lanzamiento y que supone un gran salto respecto a los modelos Gemini anteriores. En su publicación lo describe como el primer modelo ajeno a OpenAI y Anthropic que supera su listón personal marcado por Fable, Mythos y Astra.

El veredicto de Mollick procede del uso, no de una clasificación

La publicación en X no describe una evaluación estandarizada ni un conjunto exacto de tareas. Mollick habla de su experiencia general, de una interacción más agradable y de un comportamiento más orientado a agentes que en modelos Gemini anteriores. Su afirmación refleja el trabajo de un usuario experimentado, no una victoria medible en todas las categorías.

Google también ha publicado sus propios resultados de Gemini 4 Argon. En Vals Index para knowledge work, por ejemplo, declara un 68,9%, frente al 63,1%, 65,8% y 67,0% de los otros modelos de la misma tabla. Son cifras comunicadas por el proveedor y las distintas filas de la tabla de Google no señalan siempre al mismo líder.

Un listón personal detecta cualidades que un benchmark pierde

Para un product manager o un knowledge worker, la impresión de Mollick puede pesar más que otro punto en una clasificación. La facilidad de colaboración, la capacidad de mantener una tarea larga y el uso fiable de herramientas determinan si un modelo entra en el trabajo diario. Es difícil condensar esas cualidades en una sola puntuación.

El lanzamiento de Gemini 4 también tiene una lectura estratégica. Google necesita algo más que ganar su propia tabla. Debe convencer a quienes abren por costumbre un producto de OpenAI o Anthropic para que cambien esa opción inicial. El comentario de Mollick indica que ese hábito podría empezar a ceder.

Una experiencia no permite separar el modelo del producto

Sin conocer los prompts, la configuración y los intentos fallidos, no se puede saber qué parte exacta superó el listón de Mollick. Pueden influir el modelo, la interfaz, las herramientas disponibles y el tipo de tareas elegidas. Además, el acceso previo al lanzamiento rara vez reproduce el comportamiento de un servicio bajo carga normal.

Google ofrece Argon globalmente mediante el nivel de pago de Gemini API y a suscriptores de determinados planes en sus productos. La disponibilidad amplia permite más pruebas, pero no convierte la experiencia subjetiva de un evaluador en una conclusión general.

Varias semanas con las mismas tareas revelarán si cambia la opción inicial

La siguiente señal útil serán comparaciones con trabajo real, usando las mismas tareas, el mismo presupuesto y el mismo nivel de corrección humana. Los equipos deberían medir tareas completadas, pasos repetidos, coste y tiempo humano, en lugar de limitarse a preferir una respuesta aislada.

Si la experiencia se repite entre desarrolladores, investigadores y personas que trabajan con muchos documentos, Gemini 4 conseguirá algo más valioso que un liderazgo temporal en benchmarks. Se convertirá en el modelo que la gente prueba antes de abrir al favorito habitual.

El veredicto de Lilith

Mollick no le ha dado una medalla a Gemini 4, sino acceso a su oficina diaria. Google ganará si Argon sigue allí cuando termine la semana de pruebas.