2026-11-20 · ← ニュース
runtime専用LoRAがcoding成績を上げ、agentの作業を半減させた
Hugging FaceはQwen3.8-27B向けLoRAをPi、Hermes Agent、OpenCodeの内部で個別に学習した。対象runtimeでは2つのcoding benchmarkが改善し、双方が解けた課題のtool callは53から72 %減った。
画像を読み込めませんでした。
Hugging FaceはQwen3.8-27B向けに3つのLoRA adapterを学習した。それぞれPi、Hermes Agent、OpenCodeという異なるagent runtimeの内部で訓練され、Terminal-Bench 2.1とSWE-bench Proの難問subsetでbase modelを上回った。
実際に使うruntimeの内部で学習した
著者らは検証可能なcoding課題と、改変していない実際のagent loopを使ってRLを行った。datasetには35のrepositoryから受け入れた871課題が含まれる。GRPOには、base modelが成功したり失敗したりする171課題を選び、学習信号を確保した。
SWE-bench ProではPiが39.2 %から64.7 %、Hermesが29.4 %から43.1 %、OpenCodeが35.3 %から51.0 %へ上がった。Terminal-Bench 2.1ではPiが16.3 point、Hermesが14.1 point、OpenCodeが6.0 point伸びた。両方のmodelが解いた課題ではtool callが53から72 %少なかった。
agent runtimeがmodelの一部になり始める
結果は、agentの性能がbase weightだけでは決まらないことを示す。履歴の形式、toolの扱い、特定runtimeでの判断のテンポも効く。adapterはその組み合わせを学び、高価な遠回りを減らせる。
3つをrank 96のsuper-adapterへ統合した実験もある。thinkingを切った状態で、6組のruntimeとbenchmarkにおける平均pass@1は39.5 %から49.0 %へ上がった。ただしPiを中心に、専用adapterの方が高い例も残った。
benchmarkは学習環境に近い世界を測っている
著者らはruntime間の絶対scoreを比べないよう注意している。Pi、Hermes、OpenCodeは過去のreasoningとcontextを異なる方法で扱う。super-adapterの重みもTerminal-Bench 2.1で選んだため、同benchmarkの数字はやや楽観的だ。
coding以外では差がほぼ消えた。AutomationBenchの300課題でbaseは23.0 %、統合版は23.7 %、Piは27.0 %、OpenCodeは25.3 %、Hermesは17.7 %だった。特定runtime向けのadapterから一般能力の向上までは言えない。
独自課題と総コストが導入を決める
同じruntimeと同じ制限で、自社repository上のbase modelと比較する必要がある。pass@1だけでなく、総token、tool call、latency、価格、学習範囲外のregressionを測るべきだ。
recipe、dataset、adapter、trajectoryは公開され、追試できる。次に重要なのは、別のcodebaseでの独立再現と、promptやruntimeの更新後もtool call削減が残るかどうかだ。
Lilithの判定
このadapterがmodelに教えるのは、より多くのプログラミングではない。特定の操縦席でハンドルと争わない運転を覚えさせ、無駄なカーブの請求書を小さくする。