Lilith.
⌕
Redakční ilustrace: Agent četl knihu po řádcích. Výzkumné roje mění web v neplacené API
Ilustrace Lilith · redakční remix

Ethan Mollick ukázal neobvyklý způsob, jakým výzkumný agent získával podklady pro rekonstrukci kurzu W. H. Audena z roku 1941. Fable 5.2 našel relevantní knihu v Internet Archive a podle Mollicka ji četl po jednotlivých řádcích pomocí opakovaných full text search dotazů.

Fable 5.2 obešel chybějící čtečku sérií vyhledávání

Agent zjevně neměl pohodlný přístup k celému textu. Místo aby úkol vzdal, proměnil vyhledávací rozhraní v provizorní datový kanál a skládal obsah z dílčích odpovědí. Právě tato vytrvalost umožňuje agentům dokončit úlohy, které by člověka svou mechanickou pracností odradily.

Zdroj je jediný příspěvek na X a neuvádí počet dotazů, dobu běhu ani zátěž serveru. Ukázka proto nedokazuje, že agenti už dnes zahlcují Internet Archive. Dokládá však konkrétní vzorec chování, při němž jeden výzkumný úkol vytváří dlouhou sérii požadavků.

Weby budou rozlišovat mezi užitečným agentem a levným crawlerem

Provozovatel webu dnes často vidí jen požadavky, nikoli hodnotu výsledku. Agent může vytvářet kvalitní rešerši, ale náklady na přenos, vyhledávání a ochranu služby nese cizí infrastruktura. Když stejnou taktiku použije více agentů souběžně, běžný rate limit určený lidem přestane odpovídat skutečné spotřebě.

Vývojáři agentů proto budou potřebovat request budget, cache, deduplikaci a preferenci oficiálních API. Jinak optimalizují úspěch úlohy na úkor služby, která jim data poskytla. Pro knihovny a archivy zase vzniká nepříjemná volba mezi otevřeným přístupem a obranou proti automatizaci.

Jeden experiment neříká nic o celkovém provozu

Mollickův příspěvek neporovnává Fable 5.2 s jinými modely a neměří, kolik dat agent skutečně přenesl. Nelze z něj odvodit růst bot traffic ani cenu pro Internet Archive. Také nevíme, zda existoval vhodnější způsob přístupu, který agent přehlédl.

Síla příkladu leží jinde. Agent splnil informační cíl pomocí rozhraní, které pravděpodobně nebylo navrženo pro sekvenční čtení celé knihy. To je produktový úspěch pro uživatele a varování pro provozovatele služby současně.

Rozhodne účtování nákladů na úroveň jedné úlohy

Dalším užitečným signálem nebudou působivější ukázky, ale telemetrie. Agentní platformy by měly ukázat počet požadavků, objem přenesených dat, zásahy cache a počet duplicit na jednu dokončenou úlohu. Weby pak mohou nabídnout strojově čitelné limity nebo placený přístup místo plošného blokování.

Pokud vývojáři začnou měřit jen kvalitu odpovědi, agent se naučí být úspěšný a bezohledný zároveň. Rozumný eval musí zahrnout i cenu, kterou za jeho vytrvalost platí cizí server.

Lilithin verdikt

Agent našel škvíru a protáhl jí celou knihu po řádcích. Chytrý výsledek pro uživatele může být velmi hloupý účet pro knihovnu.