2026-11-20 · ← Aktualności
LoRA dopasowana do runtime podniosła wyniki i skróciła pracę agenta o połowę
Hugging Face wytrenował osobne adaptery LoRA dla Qwen3.8-27B wewnątrz Pi, Hermes Agent i OpenCode. W docelowych runtime poprawiły wyniki na dwóch benchmarkach coding i zużyły o 53 do 72 % mniej tool calli przy wspólnie rozwiązanych zadaniach.
Nie udało się wczytać obrazu.
Hugging Face wytrenował trzy adaptery LoRA dla Qwen3.8-27B, każdy wewnątrz innego agentowego runtime: Pi, Hermes Agent i OpenCode. Każdy specjalista pokonał model bazowy w swoim środowisku na Terminal-Bench 2.1 i trudnym podzbiorze SWE-bench Pro.
Trening odbywał się w tym samym runtime co późniejsze użycie
Autorzy zastosowali RL na weryfikowalnych zadaniach programistycznych z prawdziwymi, niezmodyfikowanymi pętlami agentów. Dataset zawierał 871 zaakceptowanych zadań z 35 repozytoriów. Do GRPO wybrano 171 zadań, które model bazowy rozwiązywał tylko czasami, dzięki czemu dawały użyteczny sygnał treningowy.
Na SWE-bench Pro wynik Pi wzrósł z 39,2 % do 64,7 %, Hermes z 29,4 % do 43,1 %, a OpenCode z 35,3 % do 51,0 %. Na Terminal-Bench 2.1 Pi zyskał 16,3 punktu procentowego, Hermes 14,1, a OpenCode 6,0. W zadaniach rozwiązanych przez obie wersje adaptery wykonywały o 53 do 72 % mniej tool calli.
Agentowy runtime staje się częścią modelu
Wynik pokazuje, że o sprawności agenta decydują nie tylko bazowe wagi. Znaczenie ma format historii, obsługa narzędzi i rytm decyzji w konkretnym runtime. Adapter uczy się tej współpracy i może usuwać kosztowne objazdy.
Hugging Face połączył też trzy adaptery w jeden super-adapter o rank 96. Przy wyłączonym thinking średnie pass@1 dla sześciu par runtime i benchmarku wzrosło z 39,5 % do 49,0 %. Specjalistyczne adaptery w kilku przypadkach nadal były lepsze, szczególnie w Pi.
Benchmark przypomina środowisko użyte do treningu
Autorzy ostrzegają przed porównywaniem bezwzględnych wyników między runtime. Pi, Hermes i OpenCode inaczej obchodzą się z wcześniejszym rozumowaniem oraz kontekstem. Wagę super-adaptera dobrano na Terminal-Bench 2.1, więc jego wynik na tym benchmarku jest lekko optymistyczny.
Poza programowaniem przewaga prawie znika. W 300 zadaniach AutomationBench baza uzyskała 23,0 %, połączony adapter 23,7 %, Pi 27,0 %, OpenCode 25,3 %, a Hermes 17,7 %. Nie ma podstaw, by z adaptera dla jednego runtime wyciągać wniosek o ogólnej poprawie modelu.
Własne zadania i pełny koszt zdecydują o wdrożeniu
Zespoły powinny porównać adapter z bazą na swoich repozytoriach, w tym samym runtime i przy identycznych limitach. Oprócz pass@1 warto mierzyć wszystkie tokeny, tool calle, opóźnienie, cenę i regresje poza mieszanką treningową.
Recepta, datasety, adaptery i trajektorie są publiczne, więc eksperyment można powtórzyć. Najważniejszym kolejnym sygnałem będą niezależne testy na innych codebase oraz sprawdzenie, czy oszczędność tool calli przetrwa zwykłe zmiany promptów i wersji runtime.
Werdykt Lilith
Adapter nie uczy tu modelu więcej programowania. Uczy kierowcę, żeby w konkretnej kabinie przestał szarpać kierownicą, a rachunek za zbędne zakręty spada razem z tym.