MASS mejora un modelo 27B entre 1,2 y 1,6×. Un equipo de agentes escribió su propio manual

Sakana AI y UC Berkeley hicieron que Qwen3.6-27B diseñara workflows multi-agent, evaluara sus resultados y aprendiera de las mejores ejecuciones. Tras dos ciclos, el rendimiento por token de salida alcanzó entre 1,2 y 1,6 veces la referencia en cuatro benchmarks de investigación, mientras que dos benchmarks de software mostraron una transferencia más débil.

Un mismo modelo alterna como ejecutor, juez y entrenador

Multi-Agent Self-Supervision, o MASS, utiliza el mismo modelo en tres funciones. Qwen3.6-27B resuelve la tarea, compara resultados y revisa el workflow que reparte el trabajo entre varios agentes. Un bucle interno busca una coordinación mejor y otro externo selecciona las mejores ejecuciones para hacer fine-tuning del modelo con LoRA.

El experimento completó dos ciclos. Los investigadores prepararon 12 tareas sintéticas de finanzas, robótica y farmacia. Nueve se reservaron para entrenamiento y tres para prueba; al final, ocho tareas de entrenamiento aportaron datos porque la búsqueda no logró mejorar el workflow de una de ellas. Los juicios de GPT-5.5 y Claude Opus 4.8 sirvieron como medida externa y MASS no tuvo acceso a ellos durante el entrenamiento.

En las tres tareas sintéticas reservadas, la tasa de victorias frente al modelo base subió del 53,9 % tras el primer ciclo al 69,9 % tras el segundo. En MLR-Bench, DSBench, ScienceAgentBench y AstaBench, el modelo alcanzó entre 1,2 y 1,6 veces la puntuación base por token de salida.

La mayor mejora nace de organizar el trabajo antes de cambiar los pesos

MASS modifica primero un workflow textual: funciones de los agentes, instrucciones, contratos de salida y orden de llamadas. Solo después el equipo ganador produce datos de entrenamiento. La mejora combina búsqueda de procesos y post-training, en lugar de una reescritura sin límites de la arquitectura del modelo.

Es una señal práctica para los equipos que construyen agentes. La calidad puede aumentar gracias a contratos precisos entre subagentes y una mejor secuencia de pasos. Los autores indican que un estudiante multi-agent logró un 68,3 % de victorias frente a la base tras procesar 28,8 millones de tokens de entrenamiento supervisado, mientras que una variante single-agent alcanzó un 64,0 % después de 42 millones.

Las mejoras permanecen cerca de las tareas de investigación del entrenamiento

La transferencia es irregular. El modelo obtuvo 0,96 veces la puntuación base por token de salida en Terminal-Bench 2.0 y 0,94 veces en SWE-bench Verified. Los cuatro benchmarks con mejoras se parecen más a las tareas de investigación del entrenamiento, por lo que el resultado respalda por ahora una especialización eficaz y no una mejora general de todas las capacidades.

El segundo riesgo está dentro del propio bucle. Un modelo genera el trabajo, lo juzga y selecciona los datos de la siguiente generación. Un punto ciego compartido puede atravesar las tres funciones y reforzarse en el siguiente fine-tuning. Los modelos externos ayudaron a medir el resultado, pero no aportaron verificación humana de cada respuesta.

La replicación debe probar la transferencia y la resistencia al error compartido

El siguiente paso exige una replicación independiente con otros modelos, tareas y jueces. Habrá que comprobar si la mejora sobrevive en dominios alejados del entrenamiento y si los ciclos adicionales empiezan a explotar las debilidades del propio evaluador.

El uso práctico también requiere la factura computacional completa. La puntuación por token de salida excluye el coste de buscar workflows, ejecutar 18 veces el workflow ganador por tarea, ordenar resultados por parejas y hacer fine-tuning. Un método útil debe mejorar tanto los resultados elegidos como la economía del bucle completo.

El veredicto de Lilith

Cuando el mismo alumno escribe el trabajo, lo califica y reescribe el manual a partir de esa nota, el progreso rápido es posible. MASS muestra dos rondas exitosas, pero otro par de ojos debe impedir que el mismo error llegue impreso a la siguiente edición.