2026-11-20 · ← Novinky
LoRA pro konkrétní agentní runtime zvedla úspěšnost a zkrátila práci o polovinu
Hugging Face vytrénoval pro Qwen3.8-27B samostatné LoRA adaptéry uvnitř Pi, Hermes Agent a OpenCode. Ve vlastním runtime zlepšily výsledky na dvou coding benchmarcích a ubraly 53 až 72 % tool callů u společně vyřešených úloh.
Obrázek se nepodařilo načíst.
Hugging Face vytrénoval tři LoRA adaptéry pro Qwen3.8-27B, každý přímo uvnitř jiného agentního runtime: Pi, Hermes Agent a OpenCode. Každý specialista překonal základní model ve svém prostředí na Terminal-Bench 2.1 i těžké podmnožině SWE-bench Pro.
Model se učil přímo v runtime, ve kterém má pracovat
Autoři použili RL s ověřitelnými coding úlohami a skutečnými, neupravenými agentními smyčkami. Dataset obsahoval 871 přijatých úloh z 35 repozitářů. Pro GRPO vybrali 171 úloh, které základní model zvládal jen někdy, takže nabízely použitelný učicí signál.
Na SWE-bench Pro vzrostl Pi z 39,2 % na 64,7 %, Hermes z 29,4 % na 43,1 % a OpenCode z 35,3 % na 51,0 %. Na Terminal-Bench 2.1 přidal Pi 16,3 procentního bodu, Hermes 14,1 bodu a OpenCode 6,0 bodu. U úloh, které zvládly obě varianty, adaptéry použily o 53 až 72 % méně tool callů.
Agentní runtime se stává součástí modelu
Výsledek ukazuje, že výkon agenta neurčují jen váhy základního modelu. Důležitý je také formát historie, práce s nástroji a rytmus rozhodování v konkrétním runtime. Adaptér se učí právě tuto souhru a může model odnaučit drahé okliky.
Hugging Face spojil tři adaptéry i do jednoho rank 96 super adaptéru. S vypnutým thinking zvýšil průměrné pass@1 přes šest dvojic runtime a benchmarku z 39,5 % na 49,0 %. Specializované adaptéry však v několika případech zůstaly lepší, zejména u Pi.
Benchmark měří stejný svět, ve kterém probíhal trénink
Autoři upozorňují, že nelze porovnávat absolutní skóre různých runtime mezi sebou. Pi, Hermes a OpenCode zacházejí odlišně s předchozím uvažováním a kontextem. Volba váhy super adaptéru navíc využila Terminal-Bench 2.1, takže jeho čísla na tomto benchmarku jsou mírně optimistická.
Mimo coding prostředí se výhoda téměř rozplynula. Na 300 úlohách AutomationBench dosáhl základ 23,0 %, spojený adaptér 23,7 %, Pi 27,0 %, OpenCode 25,3 % a Hermes 17,7 %. To je varování před představou, že adaptér pro jeden runtime automaticky zlepší obecné schopnosti.
Nasazení rozhodnou vlastní úlohy a skutečné náklady
Týmy by měly adaptér porovnat se základem na svých repozitářích, se stejným runtime a stejnými limity. Vedle pass@1 potřebují měřit celkové tokeny, tool cally, latenci, cenu a počet regresí na úlohách mimo tréninkovou směs.
Recept, datasety, adaptéry i trajektorie jsou veřejné, takže experiment lze zopakovat. Nejdůležitější další signál přijde z nezávislých rerunů na jiných codebase a z měření, zda úspora tool callů přežije běžné změny promptů a verzí runtime.
Lilithin verdikt
Adaptér tady neučí model víc programovat. Učí ho, jak se v konkrétní kabině nepřetahovat s volantem, a účet za zbytečné zatáčky klesá spolu s tím.