IBM dało GPT-4.1 ściągę z jego własnych błędów i agent wyprzedził modele frontier w części retail τ²-bench

IBM Research pokazuje, że agent obsługi klienta może się poprawić bez nowego modelu i bez fine-tuningu. Narzędzie ALTK-Evolve kazało GPT-4.1 przejść przez zadania treningowe i wyciągnąć z sukcesów i porażek krótkie zasady, które potem trafiły do system promptu. Z taką ściągą agent osiągnął w części retail benchmarku τ²-bench 67,5% Pass^4 i według IBM wyprzedził wszystkie pozycje rankingu z 12 października 2026 roku.

GPT-4.1 spisał sobie 292 zasady i zaliczył wszystkie cztery próby w 67,5% zadań

τ²-bench firmy Sierra symuluje rozmowy z klientami. Agent ma narzędzia, na przykład wyszukiwanie zamówienia czy zwrot pieniędzy, i musi przestrzegać spisanej polityki firmy. Zadanie się liczy tylko wtedy, gdy końcowy stan bazy danych dokładnie odpowiada oczekiwanemu. Pass^4 oznacza, że agent rozwiązał zadanie we wszystkich czterech niezależnych próbach.

Zasady to zwykła lista w markdownie. Na przykład: zweryfikuj klienta, zanim dotkniesz zamówienia. Przed każdą zmianą podsumuj, co zrobisz, i poczekaj na wyraźną zgodę. Zasady wyciąga ten sam model, który potem obsługuje klientów. Nikt niczego ręcznie nie oznacza, a wagi modelu się nie zmieniają.

Na odłożonych zadaniach testowych Pass^4 w części retail wzrósł z 57,5% do 67,5% przy pełnym zestawie 292 zasad. W części lotniczej z 35% do 45%, ale tam najlepiej sprawdziło się tylko 14 najczęstszych zasad. W pełnym rankingu agent retail pokonał też RAFT-30B-A3B, model dostrojony na syntetycznych danych z τ²-bench, który ma 61,4%.

Firmy mogą poprawić agenta zmianą promptu zamiast wymiany modelu

Dla zespołów, które prowadzą agentów na infolinii, to praktyczna wiadomość. Zamiast czekać na nowy model albo płacić za fine-tuning, wystarczy zbierać zapisy rozmów i pozwolić modelowi wyciągnąć z nich zasady pracy. Są czytelne. Kierownik obsługi klienta może je przejrzeć, wykreślić bzdury i dopisać to, czego brakuje. Przy fine-tuningu nic takiego nie da się zrobić.

Koszt rośnie tam, gdzie można się tego spodziewać. Dłuższy prompt podniósł w części retail koszt rozmowy z 0,084 do 0,139 dolara, czyli o 65%. Rozmowy przy tym nieco się skróciły, o 0,3 do 0,4 tury. Blok zasad jest identyczny przy każdym wywołaniu, więc w produkcji dużą część kosztu odzyska prompt caching. Metoda zadziałała też na mocniejszym modelu: GPT-5.5 poprawił Pass^4 w części lotniczej z 55% do 70% i osiągnął w rankingu 82%, podczas gdy pozycje frontier miały od 66 do 72%.

Małe testy i ranking, w którym agent częściowo widział swój podręcznik

Zestawy testowe są małe: 40 zadań w retail i 20 w części lotniczej. W tej drugiej jedno zadanie przesuwa Pass^4 o 5 punktów procentowych, więc zysk 10 punktów to dwa dodatkowe zadania. Wyniki są ciekawe, ale na tak małej próbie trudno odróżnić trwałą poprawę od szumu.

Drugi haczyk tkwi w rankingu. τ²-bench ocenia cały zestaw, także zadania treningowe, z których agent wyciągnął swoje zasady. IBM uczciwie to przyznaje i podaje wyniki z odłożonego testu osobno. Tytuł o zwycięstwie „bez modelu frontier” dotyczy zresztą tylko części retail. W części lotniczej GPT-4.1 zajął ósme miejsce, a pierwsze zdobył dopiero z GPT-5.5. Symulowanego klienta we wszystkich przebiegach grał GPT-5.5, więc agent rozmawiał z modelem, a nie ze zdenerwowanym człowiekiem.

Liczy się to, czy ściąga przetrwa zmianę polityki firmy

Prawdziwy sprawdzian odbędzie się poza benchmarkiem. Zasady firm się zmieniają, promocje się kończą, terminy reklamacji się przesuwają. Po zmianie polityki zasady trzeba wyuczyć od nowa, inaczej agent zacznie pewnym tonem stosować wczorajsze procedury. Ciekawe będzie, czy ktoś wdroży ALTK-Evolve na prawdziwej infolinii i pokaże, jak szybko da się zaktualizować ściągę.

Drugim sygnałem będzie przyjęcie wyników do oficjalnego rankingu τ²-bench. IBM zgłosiło je jako pull requesty nr 542 i 551. Biblioteka ALTK-Evolve jest na GitHubie, więc każdy z dostępem do API może sprawdzić te twierdzenia.

Werdykt Lilith

IBM wsunęło starszemu modelowi do kieszeni ściągę z 292 zasadami i ten wyprzedził na infolinii młodszych kolegów. Część egzaminu pisał jednak z pytań, z których ściągę przepisał, a przy okienku z biletami lotniczymi wygrał dopiero z GPT-5.5.