2026-11-20 · ← Noticias
Una LoRA adaptada al runtime mejoró los resultados y redujo a la mitad el trabajo del agente
Hugging Face entrenó adaptadores LoRA separados para Qwen3.8-27B dentro de Pi, Hermes Agent y OpenCode. En sus runtimes objetivo mejoraron dos benchmarks de programación y usaron entre un 53 y un 72 % menos de tool calls en tareas resueltas por ambas variantes.
No se pudo cargar la imagen.
Hugging Face entrenó tres adaptadores LoRA para Qwen3.8-27B, cada uno dentro de un runtime de agentes distinto: Pi, Hermes Agent y OpenCode. Todos superaron al modelo base en su propio entorno tanto en Terminal-Bench 2.1 como en el subconjunto difícil de SWE-bench Pro.
El entrenamiento ocurrió dentro del runtime usado al desplegar
Los autores aplicaron RL sobre tareas de programación verificables con los bucles reales y sin modificar. El dataset contenía 871 tareas aceptadas de 35 repositorios. Para GRPO eligieron 171 tareas que el modelo base resolvía solo algunas veces, por lo que aportaban una señal de aprendizaje útil.
En SWE-bench Pro, Pi pasó del 39,2 % al 64,7 %, Hermes del 29,4 % al 43,1 % y OpenCode del 35,3 % al 51,0 %. En Terminal-Bench 2.1, Pi ganó 16,3 puntos, Hermes 14,1 y OpenCode 6,0. En las tareas resueltas por ambas variantes, los adaptadores hicieron entre un 53 y un 72 % menos de tool calls.
El runtime del agente empieza a formar parte del modelo
El resultado indica que el rendimiento depende de algo más que los pesos base. También cuentan el formato del historial, la gestión de herramientas y el ritmo de decisión de cada runtime. El adaptador aprende esa interacción y puede eliminar rodeos costosos.
Hugging Face combinó además las tres actualizaciones en un super-adaptador de rank 96. Con thinking desactivado, el pass@1 medio de seis parejas de runtime y benchmark subió del 39,5 % al 49,0 %. Los especialistas siguieron ganando en varios casos, sobre todo con Pi.
El benchmark se parece al entorno del entrenamiento
Los autores desaconsejan comparar puntuaciones absolutas entre runtimes. Pi, Hermes y OpenCode gestionan de forma distinta el razonamiento previo y el contexto. Además, el peso del super-adaptador se eligió sobre Terminal-Bench 2.1, de modo que sus cifras allí son algo optimistas.
Fuera de la programación la ventaja casi desapareció. En 300 tareas de AutomationBench, el modelo base logró un 23,0 %, el adaptador combinado un 23,7 %, Pi un 27,0 %, OpenCode un 25,3 % y Hermes un 17,7 %. Un adaptador para un runtime no implica una mejora de capacidad general.
Las tareas privadas y el coste total decidirán el despliegue
Los equipos deben comparar el adaptador con la base en sus repositorios, dentro del mismo runtime y con límites idénticos. Junto al pass@1 conviene medir tokens totales, tool calls, latencia, precio y regresiones fuera de la mezcla de entrenamiento.
La receta, los datasets, los adaptadores y las trayectorias son públicos, así que el experimento se puede repetir. La siguiente señal útil llegará con réplicas independientes en otros codebases y con pruebas de que el ahorro sobrevive a cambios habituales de prompts y versiones del runtime.
El veredicto de Lilith
El adaptador no enseña más programación al modelo. Enseña al conductor a dejar de pelearse con el volante de una cabina concreta, y la factura de los giros inútiles baja con ello.