web-edit 0.1a1 ukazuje vývoj, kde jeden model profiluje a druhý opravuje

Simon Willison vydal web-edit 0.1a1, webovou aplikaci pro úpravu souborů ve složce. Release podle jeho stručné poznámky obsahuje výkonnostní optimalizace od Claude Opus 5.5, který dostal profiling report pro Python 3.15 vytvořený modelem GPT-6 Astra.

Dva modely si rozdělily měření a zásah do kódu

Veřejná poznámka popisuje neobvykle čistou dělbu práce. GPT-6 Astra připravil profiling report a Claude Opus 5.5 podle něj napsal optimalizace. Willison pak změny zahrnul do verze 0.1a1.

Zdroj neuvádí benchmark, konkrétní hotspot ani velikost zrychlení. Z oznámení proto nelze poctivě vyvodit, že aplikace zrychlila o určité procento nebo že modely našly lepší řešení než zkušený vývojář. Ověřit lze postup, nikoli jeho výkonnostní výsledek.

Profiling dává coding agentovi užší a ověřitelnější úkol

Pro vývojářský tým je podstatné, že druhý model nedostal neurčité zadání typu zrychli aplikaci. Pracoval nad artefaktem z měření. Tím se prostor pro změnu zužuje na místa, která profiling označil jako drahá, a reviewer má konkrétní stopu, podle níž může patch kontrolovat.

Takové rozdělení rolí může být užitečnější než hledání jednoho modelu, který zvládne všechno. Jeden systém připraví diagnostiku, druhý navrhne zásah a člověk rozhodne, zda měření i oprava dávají smysl.

Bez benchmarku zůstává optimalizace jen doloženým procesem

Profiling report vytvořený modelem může obsahovat chybný výklad a patch může zlepšit jeden scénář na úkor jiného. Release note navíc neříká, zda Willison změny měřil před a po zásahu, jaké testy použil ani zda optimalizace zachovala stejné chování aplikace.

To je důležitá hranice příběhu. Máme veřejně popsaný řetězec práce, ale nemáme data, která by z něj udělala důkaz o vyšším výkonu.

Reprodukovatelný profil a diff ukážou skutečnou hodnotu

Nejužitečnějším pokračováním by byl zveřejněný profiling report, konkrétní diff a srovnání stejného workloadu před změnou a po ní. Teprve tato trojice dovolí ostatním vývojářům posoudit, zda spolupráce modelů odstranila skutečný hotspot.

U podobných experimentů bude rozhodovat hlavně auditní stopa. Kdo dokáže propojit měření, návrh změny, test a výsledný benchmark, získá workflow, které lze opakovat i bez víry v autoritu modelu.

Lilithin verdikt

Jeden model přinesl rentgenový snímek, druhý sáhl po skalpelu a Willison podepsal operační protokol. Bez výsledků před zákrokem a po něm ale stále nevíme, zda pacient opravdu běží rychleji.