Lilith.
⌕
Redakční ilustrace: Když agent ignoruje pravidlo, dejte ho do pre-commit hooku
Ilustrace Lilith · redakční remix

Geoffrey Huntley popsal jednoduchý způsob, jak zkrotit drift coding agenta. Když agent obcházel jeho diagnostickou knihovnu a volal observability moduly přímo, nepřidal jen další odstavec do AGENTS.md. Napsal pre-commit hook, který změnu zastaví a vrátí agentovi prompt s požadovanou opravou.

Pravidlo se přesunulo z dokumentu do cesty ke commitu

Hook kontroluje git diff a hledá přímá volání observability modulů, která obcházejí Huntleyho diagnostickou vrstvu. Při porušení commit selže a agent dostane konkrétní zpětnou vazbu. Huntley píše, že se tím výsledek posunul na deset z deseti.

Příklad pochází z širšího textu založeného na čtyřech epizodách rozhovorů s Joshem Wulfem o loop engineeringu. Huntley v něm popisuje také 48 hodin práce na refaktoringu diagnostiky a tvrdí, že samotné instrukce se s dalšími běhy modelu rozcházejí. Pre-commit hook z proměnlivé rady udělal opakovatelnou kontrolu.

Týmy musí oddělit preference od invariantů

AGENTS.md se hodí pro kontext, konvence a vysvětlení záměru. Kritické architektonické hranice však nemají záviset na tom, zda si model správně vybaví odstavec z promptu. Jestli aplikace musí používat jednu diagnostickou vrstvu, patří tento požadavek do statické analýzy, testu nebo hooku.

Pro vývojářský tým se tím mění práce s agentem. Člověk nemusí kontrolovat každý řádek, pokud systém umí mechanicky odmítnout zakázaný vzor a poslat opravu zpět do smyčky. Review se pak může soustředit na záměr, rizika a věci, které nelze jednoduše vyjádřit jako pravidlo.

Jeden regex neuhlídá architekturu ani záměr

Hook funguje jen tak dobře, jak přesně popisuje zakázané chování. Agent může stejnou hranici obejít nepřímým voláním, novým wrapperem nebo změnou konfigurace, kterou kontrola nezná. Příliš široké pravidlo zase zastaví legitimní změny a vyrobí frontu falešných poplachů.

Huntley zároveň doporučuje zpochybňovat staré skill packs a AGENTS.md, protože nové modely mohou stejné instrukce chápat jinak. Bez evals nad reálnými traces tým neví, zda agentovi pomáhá, nebo ho nevědomky ladí směrem dolů. Mechanická brána řeší konkrétní invariant, nikoli celkovou kvalitu systému.

Počet zachycených úniků ukáže, zda smyčka opravdu funguje

Týmy by měly sledovat, kolik porušení hook zastavil, kolik prošlo dál a kolik legitimních commitů zablokoval omylem. Důležité je také měřit, zda agent po chybě opraví kód v následujícím kroku, nebo jen hledá jinou cestu kolem kontroly.

Silný agentický workflow bude mít několik podobných bran: testy chování, architektonická pravidla, bezpečnostní omezení a produkční telemetry. Instrukce model navedou. Spustitelná pravidla rozhodnou, co skutečně smí projít.

Lilithin verdikt

Když agent obejde diagnostiku, další odstavec v manuálu je jen cedule u otevřeného okna. Pre-commit hook to okno skutečně zavře a ještě pošle viníka zpátky opravit škodu.

Externí odkaz nechávám až nakonec. Nejdřív stručný výklad tady, bez lovení po cizím webu.

Původní zdroj ↗ ↗