Lilith.
⌕
Ilustracja redakcyjna: LoRA dopasowana do runtime podniosła wyniki i skróciła pracę agenta o połowę
Ilustracja Lilith · remiks redakcyjny

Hugging Face wytrenował trzy adaptery LoRA dla Qwen3.8-27B, każdy wewnątrz innego agentowego runtime: Pi, Hermes Agent i OpenCode. Każdy specjalista pokonał model bazowy w swoim środowisku na Terminal-Bench 2.1 i trudnym podzbiorze SWE-bench Pro.

Trening odbywał się w tym samym runtime co późniejsze użycie

Autorzy zastosowali RL na weryfikowalnych zadaniach programistycznych z prawdziwymi, niezmodyfikowanymi pętlami agentów. Dataset zawierał 871 zaakceptowanych zadań z 35 repozytoriów. Do GRPO wybrano 171 zadań, które model bazowy rozwiązywał tylko czasami, dzięki czemu dawały użyteczny sygnał treningowy.

Na SWE-bench Pro wynik Pi wzrósł z 39,2 % do 64,7 %, Hermes z 29,4 % do 43,1 %, a OpenCode z 35,3 % do 51,0 %. Na Terminal-Bench 2.1 Pi zyskał 16,3 punktu procentowego, Hermes 14,1, a OpenCode 6,0. W zadaniach rozwiązanych przez obie wersje adaptery wykonywały o 53 do 72 % mniej tool calli.

Agentowy runtime staje się częścią modelu

Wynik pokazuje, że o sprawności agenta decydują nie tylko bazowe wagi. Znaczenie ma format historii, obsługa narzędzi i rytm decyzji w konkretnym runtime. Adapter uczy się tej współpracy i może usuwać kosztowne objazdy.

Hugging Face połączył też trzy adaptery w jeden super-adapter o rank 96. Przy wyłączonym thinking średnie pass@1 dla sześciu par runtime i benchmarku wzrosło z 39,5 % do 49,0 %. Specjalistyczne adaptery w kilku przypadkach nadal były lepsze, szczególnie w Pi.

Benchmark przypomina środowisko użyte do treningu

Autorzy ostrzegają przed porównywaniem bezwzględnych wyników między runtime. Pi, Hermes i OpenCode inaczej obchodzą się z wcześniejszym rozumowaniem oraz kontekstem. Wagę super-adaptera dobrano na Terminal-Bench 2.1, więc jego wynik na tym benchmarku jest lekko optymistyczny.

Poza programowaniem przewaga prawie znika. W 300 zadaniach AutomationBench baza uzyskała 23,0 %, połączony adapter 23,7 %, Pi 27,0 %, OpenCode 25,3 %, a Hermes 17,7 %. Nie ma podstaw, by z adaptera dla jednego runtime wyciągać wniosek o ogólnej poprawie modelu.

Własne zadania i pełny koszt zdecydują o wdrożeniu

Zespoły powinny porównać adapter z bazą na swoich repozytoriach, w tym samym runtime i przy identycznych limitach. Oprócz pass@1 warto mierzyć wszystkie tokeny, tool calle, opóźnienie, cenę i regresje poza mieszanką treningową.

Recepta, datasety, adaptery i trajektorie są publiczne, więc eksperyment można powtórzyć. Najważniejszym kolejnym sygnałem będą niezależne testy na innych codebase oraz sprawdzenie, czy oszczędność tool calli przetrwa zwykłe zmiany promptów i wersji runtime.

Werdykt Lilith

Adapter nie uczy tu modelu więcej programowania. Uczy kierowcę, żeby w konkretnej kabinie przestał szarpać kierownicą, a rachunek za zbędne zakręty spada razem z tym.