MASS verbessert ein 27B-Modell um das 1,2- bis 1,6-Fache. Ein Agententeam schrieb sein eigenes Lehrbuch

Sakana AI und UC Berkeley ließen Qwen3.6-27B Multi-Agent-Workflows entwerfen, Ergebnisse bewerten und aus den besten Durchläufen lernen. Nach zwei Zyklen erreichte die Leistung pro Ausgabetoken auf vier Forschungsbenchmarks das 1,2- bis 1,6-Fache der Basis, während zwei Softwarebenchmarks eine schwächere Übertragung zeigten.

Ein Modell wechselt zwischen Löser, Bewerter und Trainer

Multi-Agent Self-Supervision, kurz MASS, nutzt dasselbe Modell in drei Rollen. Qwen3.6-27B löst die Aufgabe, vergleicht Ergebnisse und überarbeitet den Workflow, der die Arbeit auf mehrere Agenten verteilt. Eine innere Schleife sucht nach besserer Koordination. Eine äußere Schleife wählt die besten Durchläufe aus und führt darauf ein Fine-Tuning mit LoRA durch.

Das Experiment umfasste zwei Zyklen. Die Forscher erstellten 12 synthetische Aufgaben aus Finanzen, Robotik und Pharmazie. Neun waren für das Training vorgesehen und drei wurden zurückgehalten; letztlich lieferten acht Trainingsaufgaben Daten, weil die Workflow-Suche bei einer Aufgabe keine Verbesserung fand. Urteile von GPT-5.5 und Claude Opus 4.8 dienten als externe Messung und blieben MASS während des Trainings verborgen.

Bei den drei zurückgehaltenen synthetischen Aufgaben stieg die Gewinnrate gegen das Basismodell von 53,9 % nach dem ersten Zyklus auf 69,9 % nach dem zweiten. Auf MLR-Bench, DSBench, ScienceAgentBench und AstaBench erreichte das Modell das 1,2- bis 1,6-Fache der Basisleistung pro Ausgabetoken.

Der größte Gewinn entsteht durch Arbeitsorganisation vor der Gewichtsänderung

MASS verändert zunächst einen textbasierten Workflow: Agentenrollen, Anweisungen, Ergebniskontrakte und Aufrufreihenfolge. Erst danach erzeugt das Gewinnerteam Trainingsdaten. Die Verbesserung verbindet Prozesssuche mit Post-Training, statt die Modellarchitektur unkontrolliert umzuschreiben.

Für Teams, die Agenten bauen, ist das ein praktisches Signal. Präzise Verträge zwischen Subagenten und eine bessere Reihenfolge können die Qualität steigern. Laut den Autoren erreichte ein Multi-Agent-Student nach 28,8 Millionen verarbeiteten überwachten Trainingstoken eine Gewinnrate von 68,3 % gegen die Basis. Eine Single-Agent-Variante kam nach 42 Millionen Token auf 64,0 %.

Die Gewinne bleiben nah an den Forschungsaufgaben des Trainings

Die Übertragung ist ungleichmäßig. Auf Terminal-Bench 2.0 erzielte das Modell das 0,96-Fache der Basisleistung pro Ausgabetoken, auf SWE-bench Verified das 0,94-Fache. Die vier Benchmarks mit Zuwächsen ähneln den Forschungsaufgaben aus dem Training stärker. Das Ergebnis belegt daher vorerst eine wirksame Spezialisierung und keine allgemeine Steigerung sämtlicher Fähigkeiten.

Das zweite Risiko liegt in der Schleife selbst. Ein Modell erzeugt die Arbeit, bewertet sie und wählt Daten für die nächste Generation aus. Ein gemeinsamer blinder Fleck kann alle drei Rollen passieren und beim nächsten Fine-Tuning verstärkt werden. Externe Modelle halfen bei der Messung, ersetzten aber keine menschliche Prüfung jedes Ergebnisses.

Replikationen müssen Übertragung und Widerstand gegen gemeinsame Fehler prüfen

Als Nächstes braucht es unabhängige Replikationen mit anderen Modellen, Aufgaben und Bewertern. Entscheidend ist, ob die Gewinne in trainingsfernen Bereichen bestehen bleiben und ob zusätzliche Zyklen Schwächen des eigenen Bewerters auszunutzen beginnen.

Für den praktischen Einsatz zählt außerdem die vollständige Rechenrechnung. Die Leistung pro Ausgabetoken enthält weder die Workflow-Suche noch 18 Durchläufe des Gewinner-Workflows pro Aufgabe, paarweise Bewertungen oder Fine-Tuning. Eine nützliche Methode muss sowohl die ausgewählten Ergebnisse als auch die Wirtschaftlichkeit der gesamten Schleife verbessern.

Liliths Urteil

Wenn derselbe Schüler die Arbeit schreibt, sie benotet und danach das Lehrbuch überarbeitet, ist schneller Fortschritt möglich. MASS zeigt zwei erfolgreiche Runden, doch ein unabhängiges Augenpaar muss verhindern, dass derselbe Fehler in die nächste Auflage gedruckt wird.