MASS zlepšil 27B model o 1,2 až 1,6×. Tým agentů si vyrobil vlastní učebnici

Sakana AI a UC Berkeley nechaly Qwen3.6-27B navrhovat multi-agent workflow, hodnotit jeho výstupy a učit se z nejlepších běhů. Po dvou cyklech stoupl výkon na čtyřech výzkumných benchmarcích na 1,2 až 1,6násobek základu, zatímco dva softwarové benchmarky ukázaly slabší přenos.

Jeden model střídá roli řešitele, hodnotitele a trenéra

Metoda Multi-Agent Self-Supervision, zkráceně MASS, používá stejný model ve třech rolích. Qwen3.6-27B řeší úlohu, porovnává výsledky a upravuje workflow, který rozděluje práci mezi několik agentů. Vnitřní smyčka hledá lepší koordinaci, vnější smyčka vybere nejlepší běhy a pomocí LoRA na nich model fine-tunuje.

Experiment proběhl ve dvou cyklech. Výzkumníci připravili 12 syntetických úloh z financí, robotiky a farmacie. Devět označili pro trénink a tři drželi stranou; data nakonec dodalo osm tréninkových úloh, protože u jedné hledání nenašlo lepší workflow. Hodnocení z GPT-5.5 a Claude Opus 4.8 sloužilo jako vnější měřítko a MASS je během učení neviděl.

Na třech držených syntetických úlohách vzrostla úspěšnost proti základnímu modelu z 53,9 % po prvním cyklu na 69,9 % po druhém. Na MLR-Bench, DSBench, ScienceAgentBench a AstaBench dosáhl model 1,2 až 1,6násobku skóre na výstupní token.

Největší přínos vzniká při organizaci práce, ne v nových parametrech

MASS nejprve mění textový workflow: role agentů, jejich instrukce, předávané výstupy a pořadí volání. Teprve potom nechá vítězný tým vytvořit tréninková data. Zlepšení tak vzniká spojením hledání vhodného procesu a post-trainingu, nikoli samovolným přepisováním celé architektury modelu.

To je praktický signál pro týmy stavějící agenty. Kvalita může růst díky přesným kontraktům mezi subagenty a lepšímu pořadí kroků. Autoři uvádějí, že multi-agent student dosáhl 68,3 % úspěšnosti proti základu po zpracování 28,8 milionu tréninkových tokenů, zatímco single-agent varianta dosáhla 64,0 % po 42 milionech tokenů.

Úspěch se drží blízko tréninkovým výzkumným úlohám

Přenos zůstává nerovnoměrný. Na Terminal-Bench 2.0 dosáhl model 0,96násobku základního skóre na výstupní token a na SWE-bench Verified 0,94násobku. Čtyři benchmarky s růstem se výzkumným tréninkovým úlohám podobají víc, takže výsledek zatím dokládá účinnou specializaci, ne obecné zlepšení každé schopnosti.

Druhé riziko sedí přímo uvnitř smyčky. Jeden model vytváří práci, posuzuje ji a vybírá data pro další generaci. Sdílená slepá skvrna může projít všemi třemi rolemi a dalším fine-tuningem zesílit. Vnější modely pomohly výsledek změřit, ale nejde o lidské ověření správnosti každého výstupu.

Replikace musí ukázat přenos i odolnost vůči společné chybě

Další krok vyžaduje nezávislou replikaci na odlišných modelech, úlohách a hodnotitelích. Zvlášť důležité bude, zda zisk vydrží na doménách vzdálených od tréninku a zda další cykly nezačnou optimalizovat slabiny vlastního hodnotitele.

Pro praktické nasazení je potřeba sledovat také celý výpočetní účet. Skóre na výstupní token nezahrnuje cenu hledání workflow, 18 běhů vítězného workflow na úlohu, párového hodnocení ani fine-tuningu. Užitečná metoda musí zlepšit nejen vybraný výstup, ale i ekonomiku celé smyčky.

Lilithin verdikt

Když stejný student píše práci, známkuje ji a podle známky přepisuje učebnici, rychlý pokrok je možný. MASS ukazuje, že to funguje dvě kola; třetí pár nezávislých očí musí hlídat, zda se do učebnice zároveň netiskne stejná chyba.