Agenta nestačí změřit podle výsledku. Paper z Princetonu mapuje 33 trendů v jeho hodnocení

Skupina Arvinda Narayanana a Sayashe Kapoora z Princetonu vydala se spoluautory ze Stanfordu, britského AI Security Institute a Brookings paper Emerging Trends in AI Agent Evaluation. Popisuje 33 trendů. Radí také, na co se ptát, když vám někdo ukáže skóre agenta.

Benchmarkové skóre o agentovi řekne čím dál méně

Autoři na hodnocení agentů pracují zhruba tři roky. Trendy třídí do tří rovin: metody, výzkum a lidé a instituce, kteří hodnotí.

Hlavní problém popisují přímo. U modelu stačilo porovnat odpověď. U agenta musí hodnotitel projít celou cestu. Jaké nástroje volal? Nešel zkratkou? Která část systému za úspěch nebo chybu může? Některé agenty na benchmarku ExploitBench stálo hodnocení desítky tisíc dolarů v kreditech. Práce inženýrů, kteří testy stavějí a udržují, v té částce ani není.

Záznamů z běhu agentů je navíc tolik, že je lidé sami neprojdou. Když hodnotitelé zpětně zkoumali incident kolem OpenAI a Hugging Face, škodlivé kroky za ně hledali další agenti. Sami přiznali, že i tenhle postup má vlastní slepá místa.

Výsledek z laboratoře se do firmy nepřenese sám

Paper opakuje, že důkaz z jedné úrovně neplatí sám od sebe na další. Agent může v laboratoři zvládnout úlohu a v konkrétní firmě narazit. Autoři připomínají randomizovanou studii METR: zkušení open-source vývojáři s AI nástroji dokončovali úkoly o 19 % déle, přestože čekali zrychlení.

Pro firmu, která agenty nakupuje, z toho plyne praktická věc. Číslo z leaderboardu je jen začátek. Kdo chce vědět, jestli agent ušetří práci jeho lidem, musí ho změřit u sebe. Autoři přidávají ještě jednu volbu. Hodnotitel se může ptát, jestli agent úlohu převezme. Nebo jestli člověku pomůže ji udělat lépe. Když se měří hlavně první varianta, dozvíme se, koho jde nahradit. Jak s agenty lépe spolupracovat, se nedozvíme.

Nezávislost hodnotitelů začíná u peněz a přístupu

Nejostřejší část textu řeší, kdo vůbec smí hodnotit. Testy frontier agentů zdražují. O tom, kdo se zapojí, tak rozhoduje rozpočet. Roli hraje i přístup k modelům. Laboratoře dnes zveřejňují jen shrnuté verze chain of thought, ne surové záznamy, takže externí hodnotitel vidí méně než interní tým. Autoři zmiňují i strach z odvety a otázku, jak výsledky otevřeně zveřejnit.

Tady má paper slabé místo. Doporučení pro laboratoře, sponzory, leaderboardy i úřady zní jako výčet přání. Mechanismus, který by laboratoř donutil pustit hodnotitele k surovým záznamům, text nenabízí. Kdo čeká nový benchmark nebo nová měření, dostane mapu terénu.

Leaderboardy s cenou a surové záznamy ukážou, jestli se obor pohnul

Prvním signálem budou leaderboardy. Autoři chtějí, aby ukazovaly i rostoucí cenu hodnocení. Pokud se vedle skóre objeví částka za běh, kupující uvidí, kolik stojí ověřit tvrzení dodavatele. Druhým signálem je přístup externích týmů k surovým trajektoriím agentů.

Třetí test čeká na veřejný sektor. U státních nasazení má hodnocení běžet od prvního dne. AI Security Institutes mají do procesu pustit nové hráče. Pokud za rok bude agenty hodnotit pořád hlavně ten, kdo je prodává, zůstane paper dobře napsaným varováním.

Lilithin verdikt

Agent dnes skládá zkoušky, které mu často sestavil a zaplatil vlastní výrobce, a cizí zkoušející smí do jeho sešitu s poznámkami nahlédnout jen ve zkrácené verzi. Dokud se to nezmění, berte jeho skóre jako vysvědčení podepsané rodiči.