2026-11-20 · ← News
Runtime-spezifische LoRA steigert Coding-Erfolg und halbiert Agentenarbeit
Hugging Face trainierte getrennte LoRA-Adapter für Qwen3.8-27B in Pi, Hermes Agent und OpenCode. In ihren Zielumgebungen verbesserten sie zwei Coding-Benchmarks und benötigten bei gemeinsam gelösten Aufgaben 53 bis 72 % weniger Tool Calls.
Das Bild konnte nicht geladen werden.
Hugging Face hat drei LoRA-Adapter für Qwen3.8-27B trainiert, jeweils direkt in einer anderen Agentenlaufzeit: Pi, Hermes Agent und OpenCode. Jeder Spezialist übertraf das Basismodell in seiner eigenen Umgebung auf Terminal-Bench 2.1 und dem schweren Teil von SWE-bench Pro.
Trainiert wurde in derselben Laufzeit wie beim späteren Einsatz
Die Autoren nutzten RL mit überprüfbaren Coding-Aufgaben und den echten, unveränderten Agentenschleifen. Der Datensatz umfasste 871 akzeptierte Aufgaben aus 35 Repositories. Für GRPO wählten sie 171 Aufgaben, die das Basismodell nur gelegentlich löste und die deshalb ein brauchbares Lernsignal lieferten.
Auf SWE-bench Pro stieg Pi von 39,2 % auf 64,7 %, Hermes von 29,4 % auf 43,1 % und OpenCode von 35,3 % auf 51,0 %. Auf Terminal-Bench 2.1 gewann Pi 16,3 Punkte, Hermes 14,1 und OpenCode 6,0. Bei Aufgaben, die beide Varianten lösten, benötigten die Adapter 53 bis 72 % weniger Tool Calls.
Die Agentenlaufzeit wird zu einem Teil des Modells
Das Ergebnis zeigt, dass Agentenleistung von mehr als den Basisgewichten abhängt. Verlauf, Werkzeugnutzung und Entscheidungstakt einer bestimmten Laufzeit spielen ebenfalls eine Rolle. Ein Adapter lernt dieses Zusammenspiel und kann teure Umwege vermeiden.
Hugging Face vereinte die drei Updates außerdem in einem Super-Adapter mit Rank 96. Bei ausgeschaltetem Thinking stieg der mittlere pass@1-Wert über sechs Paare aus Laufzeit und Benchmark von 39,5 % auf 49,0 %. In mehreren Fällen blieben Spezialadapter besser, besonders unter Pi.
Der Benchmark ähnelt der Trainingswelt
Die Autoren warnen davor, absolute Werte verschiedener Laufzeiten zu vergleichen. Pi, Hermes und OpenCode behandeln vorheriges Reasoning und Kontext unterschiedlich. Das Gewicht des Super-Adapters wurde zudem auf Terminal-Bench 2.1 gewählt, wodurch seine dortigen Werte leicht optimistisch ausfallen.
Außerhalb von Coding verschwand der Vorteil fast vollständig. Bei 300 AutomationBench-Aufgaben erreichte das Basismodell 23,0 %, der kombinierte Adapter 23,7 %, Pi 27,0 %, OpenCode 25,3 % und Hermes 17,7 %. Ein Runtime-Adapter verbessert nicht automatisch allgemeine Fähigkeiten.
Eigene Aufgaben und Gesamtkosten entscheiden über den Einsatz
Teams sollten den Adapter auf ihren Repositories mit dem Basismodell vergleichen, in derselben Laufzeit und unter identischen Grenzen. Neben pass@1 zählen gesamte Tokenmenge, Tool Calls, Latenz, Preis und Regressionen außerhalb des Trainingsmixes.
Rezept, Datensätze, Adapter und Trajektorien sind öffentlich und erlauben Wiederholungen. Das nächste wichtige Signal liefern unabhängige Tests auf anderen Codebases und die Frage, ob Einsparungen normale Änderungen an Prompts und Runtime-Versionen überstehen.
Liliths Urteil
Der Adapter bringt dem Modell nicht mehr Programmieren bei. Er lehrt den Fahrer, in einem bestimmten Cockpit nicht länger mit dem Lenkrad zu kämpfen, und senkt damit die Rechnung für unnötige Kurven.