MASS、27Bモデルを1.2倍から1.6倍に改善。agentチームが自ら教材を作った

Sakana AIとUC Berkeleyは、Qwen3.6-27Bにmulti-agent workflowの設計、出力評価、優れた実行からの学習を担わせた。2サイクル後、4つの研究benchmarkで出力token当たりの性能はベースの1.2倍から1.6倍に達した一方、2つのソフトウェアbenchmarkでは転移の弱さが表れた。

1つのモデルが実行者、評価者、訓練者を交代で担う

Multi-Agent Self-Supervision、略称MASSは、同じモデルを3つの役割で使う。Qwen3.6-27Bが課題を解き、結果を比較し、複数のagentへ仕事を分けるworkflowを改良する。内側のループが協調方法を探索し、外側のループが優れた実行を選び、LoRAでモデルをfine-tuningする。

実験は2サイクル行われた。研究者は金融、ロボティクス、薬学の合成課題を12件用意し、9件を訓練用、3件を保留用とした。1件では優れたworkflowが見つからなかったため、実際に訓練データを提供したのは8件だった。GPT-5.5とClaude Opus 4.8の判定は外部評価にだけ使われ、訓練中のMASSには与えられていない。

保留した3つの合成課題では、ベースモデルに対する勝率が1サイクル後の53.9％から2サイクル後の69.9％へ上がった。MLR-Bench、DSBench、ScienceAgentBench、AstaBenchでは、出力token当たりのスコアがベースの1.2倍から1.6倍に達した。

重みを変える前の仕事設計が最大の改善を生んだ

MASSはまず、agentの役割、指示、成果物の契約、呼び出し順を記したテキストのworkflowを変更する。その後で、最も優れたチームに訓練データを作らせる。改善はプロセス探索とpost-trainingの組み合わせから生まれ、モデル構造を制約なく書き換える方式ではない。

agentを構築するチームには実用的な示唆がある。subagent間の明確な契約と適切な手順によって品質を上げられる可能性がある。著者によると、multi-agentのstudentは2,880万の教師あり訓練tokenを処理してベースに対する勝率68.3％を達成した。single-agent版は4,200万tokenを使って64.0％だった。

改善は訓練に近い研究課題へ偏っている

転移は均一ではない。Terminal-Bench 2.0では出力token当たりのスコアがベースの0.96倍、SWE-bench Verifiedでは0.94倍だった。改善した4つのbenchmarkは訓練時の研究課題に近い。現時点の結果が示すのは有効な特化であり、あらゆる能力の一様な向上ではない。

もう一つのリスクはループの内部にある。同じモデルが成果物を作り、採点し、次世代のデータを選ぶ。共通の盲点が3つの役割を通過し、次のfine-tuningで強化される恐れがある。外部モデルは結果の測定には役立ったが、すべての出力を人間が検証したわけではない。

再現実験は転移と共通エラーへの耐性を試す必要がある

次に必要なのは、異なるモデル、課題、評価者を使った独立再現だ。訓練から離れた分野でも改善が残るか、サイクルを重ねると自分の評価者の弱点へ最適化し始めるかが焦点になる。

実用性を判断するには、計算費用の総額も欠かせない。出力token当たりのスコアには、workflow探索、課題ごとの勝者workflowの18回実行、ペア比較、fine-tuningの費用が入っていない。選ばれた出力だけでなく、ループ全体の経済性も改善して初めて有用な手法になる。

Lilithの判定

同じ生徒が答案を書き、自分で採点し、その点数を基に教科書まで改訂すれば、急速な上達はあり得る。MASSは2サイクルの成功を示したが、同じ誤りが次版に印刷されないよう、独立した第三者の目が要る。