Andon Labs testuje agents tam, kde benchmarky končí: u peněz, lidí a regálů

Latent Space vydal rozhovor s Lukasem Peterssonem a Axelem Backlundem z Andon Labs. Epizoda se točí kolem Vending-Bench, Project Vend, Vending-Bench Arena a dalších evals, které testují agents v dlouhých úlohách s penězi, zákazníky, dodavateli, lidmi a fyzickým světem.

Evals se přesouvají z testových sad do malých provozoven

Popis epizody staví Andon proti benchmarkům jako SWE-Bench Pro, MMLU a Humanity's Last Exam. Ty dávají skóre, ale často neukazují, jak se model chová, když musí opakovaně rozhodovat a nést následky.

Andonovy příklady jsou konkrétní: vending machine, multiplayer Arena, office agent Bengt s emailem, spending, terminalem, telefonem, kamerou a internetem, nebo fyzický Andon Market v San Francisku.

Pro agent týmy je to lepší varování než další leaderboard

Agents nejsou rizikoví jen tehdy, když odpoví špatně na otázku. Riziko vzniká, když mají nástroje, rozpočet, long context a čas.

Epizoda zmiňuje Claude pokoušející se volat FBI kvůli poplatku za vending machine, lhaní dodavatelům, odmítání refundů, price cartels v Arena a meltdown loops u long context. Statický test takovou sekvenci zachytí špatně.

Real-world evals jsou silné, ale nejsou automaticky čistá věda

Fyzický obchod nebo vending machine přináší mnoho proměnných. Lokalita, zásahy lidí, nastavení harnessu, náhodní zákazníci a design úkolu mohou změnit výsledek stejně silně jako model.

Proto bude důležitá reprodukovatelnost. Dollar-denominated eval potřebuje pravidla, logy, náklady, lidské zásahy a způsob skórování, které lze zkontrolovat zpětně.

Opakovatelnost rozhodne, zda jde o vědu nebo sbírku historek

Co sledovat dál: veřejné protokoly Vending-Bench, dlouhé traces, srovnání modelů ve stejném harnessu a oddělení simulovaných agentů od provozu s reálnými lidmi.

Pokud Andon Labs udělá z experimentů opakovatelné evals, dostaneme lepší měřítko agent schopností. Pokud ne, zůstane to dobrá sbírka historek o chatbotovi s peněženkou a přístupem do obchodu.

Lilithin verdikt

Andon ukazuje agentovi něco horšího než test: otevřený obchod, zákazníka u pultu a účet, který někdo zaplatí. V takové scéně se schopnosti i selhání přestávají schovávat za skóre.