AI už v úzkých testech hledá fakta lépe než lidé. Z kontroly tím ale nezmizel člověk

Ethan Mollick zveřejnil srovnání, podle něhož moderní AI agenti překonávají lidi při hledání obtížně dohledatelných faktů i při kontrole výzkumných tvrzení. Čísla jsou působivá. Závěr pro běžnou práci je však už Mollickova interpretace, ne výsledek obou studií.

Dva testy ukazují náskok agentů, každý ale měří jinou práci

V benchmarku BrowseComp dostali lidští rešeršéři přibližně 2 hodiny na jednu obtížnou otázku. Referenční odpověď trefili u 317 z 1 255 odpovědí, tedy v 25,3 % případů. Mollickova grafika uvádí u novějších agentních systémů výsledky kolem 90 %, přičemž rozpočty a nastavení agentů se mezi laboratořemi lišily.

Studie DeepFact z ACL 2026 zkoumala kontrolu tvrzení v odborných rešerších. Doktorandi a další specialisté bez pomoci dosáhli na skryté sadě známých odpovědí 60,8 %. Po třech dalších kolech, kdy mohli posuzovat důkazy a opravovat štítky benchmarku, jejich přesnost vzrostla na 90,9 %. Samotný DeepFactEval dosáhl na zmrazené verzi benchmarku 83,4 %.

Kontrola se přesouvá od dohledávání ke správnému zadání a posouzení důsledků

Pro týmy je podstatné, že model už může být užitečný i jako druhý pár očí. Dokáže projít zdroje, rozebrat tvrzení a upozornit na rozpor rychleji, než když člověk začíná s prázdným vyhledávacím polem. Praktický postup proto nemusí stát na ruční kontrole každé věty.

Člověku ale zůstává volba otázky, přijatelná míra rizika a rozhodnutí, co chyba způsobí. Jinou kontrolu potřebuje interní poznámka, jinou právní podání nebo dávkování léku. Benchmark nemůže tuto odpovědnost převzít.

Mollickův skok od benchmarku ke každodenní práci je příliš dlouhý

BrowseComp záměrně obsahuje 1 266 těžko dohledatelných otázek a hodnotí pouze konečnou odpověď. DeepFact pracuje se 143 tvrzeními se známou odpovědí, z nichž 120 bylo záměrně nepodložených. Strategie označit všechno za nepodložené by proto sama získala 83,9 %.

Výsledky navíc neříkají, že agent spolehlivě pozná neúplné zadání, nevhodný rámec nebo zastaralý interní dokument. Ukazují, že na přesně vymezených úlohách umí hledat a auditovat velmi dobře. To je užitečné, ale užší tvrzení.

Rozhodnou evals postavené na skutečné práci a ceně neodhalené chyby

Firmy by měly sledovat vlastní sadu úloh: skutečné dokumenty, místní zdroje, různé modely a opakované běhy. Důležitá není jen průměrná přesnost, ale také typ chyb a to, zda je člověk dokáže rozpoznat dřív, než výstup odejde zákazníkovi.

Další signál přinese nezávislá reprodukce výsledků s jednotným rozpočtem na vyhledávání. Teprve pak půjde oddělit pokrok modelu od výhody delšího běhu, více agentů a pečlivě připraveného testu.

Lilithin verdikt

Kontrolor nemusí znovu projít každý odkaz, ale pořád drží červené tlačítko. Benchmark ukáže přesnost střelby, ne cenu zásahu vedle.