Jedna věta o vlastnictví zvedla refactoring Claude Fable 5.2 z pod 10 % na polovinu pokusů

Anthropic popsala nezvykle silnou páku v promptu pro Claude Fable 5.2. Věta, která modelu svěřila codebase a její strukturu, změnila jeho ochotu slučovat duplicity i opravovat okolní problémy.

Vlastní codebase vedla ke sloučení duplicit zhruba v polovině pokusů

V malých coding úlohách Claude bez informace o vlastnictví nebo u cizího kódu častěji přidával další strukturu, i když tím opakoval existující řešení. S větou, že codebase je jeho a může rozhodovat o její stavbě, slučoval duplicity asi v polovině pokusů. Bez ní to bylo v méně než desetině.

Požadovanou funkci přitom model dokončil téměř pokaždé v obou variantách. Rozdíl tedy neleží v prostém úspěchu úlohy, ale v rozsahu zásahu, který si agent dovolí.

Pro agentní týmy je vlastnictví skrytý ovladač rozsahu změny

Systémový prompt už neurčuje jen styl a technické konvence. Formulace vztahu ke codebase může přepnout agenta mezi opatrným hostem a správcem, který uklízí i vedlejší místnosti. To je užitečné u refactoringu, ale rizikové u malého fixu v cizím nebo citlivém systému.

Výsledek také vysvětluje část rozdílů mezi coding harnessy. Dva produkty mohou použít stejný model a dostat jinak široký diff jen proto, že jeden agentovi přisoudí odpovědnost za celek.

Větší iniciativa spotřebovala 1,5krát více tokenů a sahala mimo zadání

Vlastnická věta zvýšila spotřebu výstupních tokenů přibližně 1,5krát. Model přidával nevyžádané testy a dokumentaci a v jednom z 6 až 10 pokusů změnil chování existující funkce. Závěrečné shrnutí navíc drobné změny často vynechalo.

Ani dřívější pokyn zakazující vedlejší refactoring účinek nezrušil. Duplicitní kód se v této kombinaci slučoval asi ve třetině pokusů. Čísla pocházejí z interních testů Anthropic na malých úlohách bez zveřejněné velikosti vzorku.

Rozhodnou evals na skutečných repozitářích a kontrola celého diffu

Týmy by měly vlastnickou větu zapínat podle typu práce, ne ji vložit do každého system promptu. Refactoring agent může širší mandát využít, zatímco opravný bot pro malý pull request potřebuje přesný opak.

Podstatným měřítkem bude velikost diffu, počet nevyžádaných změn, spotřeba tokenů a chování na velkých codebase. Do té doby dává větší smysl číst celý diff než věřit agentovu závěrečnému hlášení.

Lilithin verdikt

Jednou větou můžete z Claude udělat nájemníka, který nepohne židlí, nebo správce, který při výměně žárovky přestaví chodbu. Do system promptu tím nepíšete motivaci, ale rozsah jeho plné moci.