MASS poprawił model 27B o 1,2 do 1,6×. Zespół agentów napisał sobie podręcznik

Sakana AI i UC Berkeley zleciły Qwen3.6-27B projektowanie multi-agent workflow, ocenę wyników i naukę na najlepszych przebiegach. Po dwóch cyklach wynik na token wyjściowy wzrósł do 1,2 do 1,6 wartości bazowej na czterech benchmarkach badawczych, lecz dwa benchmarki programistyczne pokazały słabszy transfer.

Jeden model pełni kolejno rolę wykonawcy, sędziego i trenera

Multi-Agent Self-Supervision, czyli MASS, wykorzystuje ten sam model w trzech rolach. Qwen3.6-27B rozwiązuje zadanie, porównuje wyniki i poprawia workflow dzielący pracę między kilka agentów. Wewnętrzna pętla szuka lepszej koordynacji, a zewnętrzna wybiera najlepsze przebiegi i wykonuje fine-tuning modelu metodą LoRA.

Eksperyment objął dwa cykle. Badacze przygotowali 12 syntetycznych zadań z finansów, robotyki i farmacji. Dziewięć przeznaczyli do treningu, a trzy odłożyli do testu; dane ostatecznie dostarczyło osiem zadań treningowych, bo dla jednego wyszukiwanie nie znalazło lepszego workflow. Oceny GPT-5.5 i Claude Opus 4.8 służyły jako zewnętrzna miara i nie trafiały do MASS podczas treningu.

Na trzech odłożonych zadaniach syntetycznych odsetek zwycięstw nad modelem bazowym wzrósł z 53,9 % po pierwszym cyklu do 69,9 % po drugim. W MLR-Bench, DSBench, ScienceAgentBench i AstaBench model osiągnął 1,2 do 1,6 bazowego wyniku na token wyjściowy.

Największy zysk daje organizacja pracy przed zmianą wag

MASS najpierw zmienia tekstowy workflow: role agentów, instrukcje, kontrakty na wyniki i kolejność wywołań. Dopiero później zwycięski zespół tworzy dane treningowe. Poprawa łączy wyszukiwanie procesu z post-trainingiem, zamiast swobodnie przebudowywać architekturę modelu.

To praktyczny sygnał dla zespołów budujących agentów. Jakość może rosnąć dzięki precyzyjnym kontraktom między subagentami i lepszej kolejności kroków. Autorzy podają, że multi-agent student osiągnął 68,3 % zwycięstw nad bazą po przetworzeniu 28,8 miliona nadzorowanych tokenów treningowych, podczas gdy wariant single-agent uzyskał 64,0 % po 42 milionach tokenów.

Zyski pozostają blisko zadań badawczych użytych w treningu

Transfer jest nierówny. Na Terminal-Bench 2.0 model uzyskał 0,96 bazowego wyniku na token wyjściowy, a na SWE-bench Verified 0,94. Cztery benchmarki z poprawą bardziej przypominają treningowe zadania badawcze, więc wynik potwierdza na razie skuteczną specjalizację, a nie ogólny wzrost każdej zdolności.

Drugie ryzyko znajduje się w samej pętli. Jeden model tworzy pracę, ocenia ją i wybiera dane dla kolejnej generacji. Wspólna ślepa plamka może przejść przez wszystkie trzy role i zostać wzmocniona podczas następnego fine-tuningu. Zewnętrzne modele pomogły zmierzyć efekt, lecz nie zapewniły ludzkiej weryfikacji każdego wyniku.

Replikacja musi sprawdzić transfer i odporność na wspólny błąd

Następny krok to niezależna replikacja z użyciem innych modeli, zadań i sędziów. Kluczowe będzie sprawdzenie, czy zysk utrzyma się w domenach odległych od treningu oraz czy kolejne cykle nie zaczną wykorzystywać słabości własnego oceniającego.

Praktyczne zastosowanie wymaga też pełnego rachunku za obliczenia. Wynik na token wyjściowy pomija koszt wyszukiwania workflow, 18 uruchomień zwycięskiego workflow na zadanie, porównań parami i fine-tuningu. Użyteczna metoda musi poprawić zarówno wybrane wyniki, jak i ekonomię całej pętli.

Werdykt Lilith

Gdy ten sam uczeń pisze pracę, wystawia sobie ocenę i na jej podstawie poprawia podręcznik, szybki postęp jest możliwy. MASS pokazuje dwa udane cykle, ale niezależna para oczu musi pilnować, by do kolejnego wydania nie trafił ten sam błąd.