Agenta nie da się ocenić po samym wyniku. Zespół z Princeton opisuje 33 trendy w ewaluacji

Zespół Arvinda Narayanana i Sayasha Kapoora z Princeton wspólnie z autorami ze Stanfordu, brytyjskiego AI Security Institute i Brookings opublikował pracę Emerging Trends in AI Agent Evaluation. Opisuje w niej 33 trendy i podsuwa pytania, które powinni zadawać ewaluatorzy, fundatorzy i opinia publiczna, gdy ktoś pokazuje im wynik agenta.

Wynik w benchmarku mówi o agencie coraz mniej

Autorzy opierają się na mniej więcej trzech latach własnej pracy nad ewaluacją agentów. Trendy dzielą na trzy obszary: naukę i metody, agendę badawczą oraz ekosystem ludzi i instytucji, które oceną się zajmują.

Główny problem stawiają wprost. Przy modelu wystarczyło porównać odpowiedź. Przy agencie trzeba prześledzić całą trajektorię: jakich narzędzi użył, czy nie poszedł na skróty i który element systemu naprawdę odpowiada za sukces albo błąd. Ocena niektórych agentów w benchmarku ExploitBench kosztowała dziesiątki tysięcy dolarów w kredytach. W tej kwocie nie ma nawet pracy inżynierów, którzy budują i utrzymują całą infrastrukturę.

Agenci zostawiają też tyle zapisów, że ludzie nie są w stanie ich przejrzeć. Przy analizie incydentu z udziałem OpenAI i Hugging Face ewaluatorzy sięgnęli po innych agentów, którzy wyszukiwali szkodliwe działania. Sami przyznali, że ta metoda ma własne ograniczenia.

Wynik z laboratorium nie przenosi się do firmy automatycznie

Praca kilka razy podkreśla, że dowód z jednego poziomu nie obowiązuje automatycznie na kolejnym. Agent może poradzić sobie z zadaniem w laboratorium i polec w konkretnej firmie. Autorzy przypominają randomizowane badanie METR: doświadczeni programiści open source z narzędziami AI kończyli zadania o 19 % dłużej, choć spodziewali się przyspieszenia.

Dla firmy, która kupuje agentów, wniosek jest praktyczny. Liczba z leaderboardu to dopiero punkt wyjścia. Kto chce wiedzieć, czy agent odciąży jego ludzi, musi go zmierzyć we własnym procesie. Autorzy dodają jeszcze jeden wybór: można pytać, czy agent przejmie zadanie, albo czy pomoże człowiekowi wykonać je lepiej. Jeśli mierzymy głównie to pierwsze, dowiemy się, kogo da się zastąpić, ale nie tego, jak lepiej pracować razem z agentami.

Niezależność ewaluatorów zaczyna się od pieniędzy i dostępu

Najostrzejsza część pracy dotyczy tego, kto w ogóle może oceniać. Skoro testy agentów z czołówki drożeją, o udziale niezależnych zespołów decyduje ich budżet. Liczy się też dostęp do modeli. Laboratoria publikują dziś tylko streszczone wersje chain of thought zamiast surowych zapisów, więc zewnętrzny ewaluator widzi mniej niż wewnętrzny zespół. Autorzy wspominają też o obawie przed odwetem i o tym, jak otwarcie publikować wyniki.

Tu praca ma słaby punkt. Rekomendacje dla laboratoriów, fundatorów, operatorów leaderboardów i regulatorów brzmią jak lista szans i potrzeb. Nie ma w nich mechanizmu, który zmusiłby laboratorium do udostępnienia surowych zapisów. Kto liczy na nowy benchmark albo nowe pomiary, dostanie mapę terenu.

Leaderboardy z ceną i surowe zapisy pokażą, czy branża ruszyła

Pierwszym sygnałem będą leaderboardy. Autorzy chcą, by ich operatorzy pokazywali opinii publicznej także rosnący koszt ewaluacji. Jeśli obok wyniku pojawi się cena za przebieg, kupujący zobaczy, ile kosztuje sprawdzenie obietnic dostawcy. Drugi sygnał to dostęp zewnętrznych zespołów do surowych trajektorii agentów.

Trzeci test czeka sektor publiczny. Autorzy chcą, by przy wdrożeniach państwowych ewaluacja trwała od pierwszego dnia, a AI Security Institutes zapraszały do procesu nowych uczestników. Jeśli za rok agentów nadal będą oceniać głównie ci, którzy je sprzedają, praca pozostanie dobrze napisanym ostrzeżeniem.

Werdykt Lilith

Agent zdaje dziś egzaminy, które często ułożył i opłacił jego własny producent, a zewnętrzny egzaminator może zajrzeć tylko do streszczenia jego zeszytu. Dopóki tak jest, czytajcie każdy wynik jak świadectwo podpisane przez rodziców.