IBM dalo GPT-4.1 tahák z jeho vlastních chyb a agent v retailu τ²-bench předběhl frontier modely

IBM Research ukazuje, že agent zákaznické podpory se může zlepšit bez nového modelu a bez fine-tuningu. Nástroj ALTK-Evolve nechal GPT-4.1 projít tréninkové úlohy a z úspěchů i chyb sepsat krátká pravidla. Ta pak přidal do system promptu. V retailové části benchmarku τ²-bench agent s tímto tahákem dosáhl Pass^4 67,5 % a podle IBM předběhl všechny položky žebříčku ze 12. října 2026.

GPT-4.1 si sepsal 292 pravidel a obstál ve všech čtyřech pokusech u 67,5 % úloh

τ²-bench od firmy Sierra simuluje rozhovory se zákazníky. Agent má nástroje, třeba vyhledání objednávky nebo vrácení peněz, a musí dodržet psanou firemní politiku. Úloha se počítá jen tehdy, když konečný stav databáze přesně odpovídá očekávání. Pass^4 znamená, že agent úlohu vyřešil ve všech čtyřech nezávislých pokusech.

Pravidla jsou obyčejný seznam v markdownu. Například: ověř zákazníka dřív, než sáhneš na objednávku. Před každou změnou shrň, co uděláš, a počkej na výslovný souhlas. Pravidla extrahuje stejný model, který pak obsluhuje zákazníky. Lidé nic neanotují a váhy modelu se nemění.

Na odložených testovacích úlohách stoupl v retailu Pass^4 z 57,5 % na 67,5 % s plnou sadou 292 pravidel. V letecké části šel z 35 % na 45 %, tam ale nejlépe fungovalo jen 14 nejčastějších pravidel. Na celém žebříčku porazil retailový agent i RAFT-30B-A3B, model vyladěný na syntetických datech z τ²-bench, který má 61,4 %.

Firmy mohou zlepšit agenta úpravou promptu, ne výměnou modelu

Pro týmy, které provozují agenty na lince podpory, je to praktická zpráva. Místo čekání na nový model nebo drahého fine-tuningu stačí sbírat záznamy rozhovorů a nechat model, ať z nich vytáhne provozní pravidla. Ta jsou čitelná. Vedoucí podpory je může projít, škrtnout nesmysl a doplnit, co chybí. U fine-tuningu nic takového nejde.

Cena roste tam, kde se dá čekat. Delší prompt zvedl v retailu náklad na rozhovor z 0,084 na 0,139 dolaru, tedy o 65 %. Rozhovory se přitom mírně zkrátily, o 0,3 až 0,4 tahu. Blok pravidel je u všech volání stejný, takže většinu nákladu v provozu ušetří prompt caching. Fungovalo to i u silnějšího modelu: GPT-5.5 si v letecké části polepšil v Pass^4 z 55 % na 70 % a na žebříčku dosáhl 82 %, zatímco frontier položky měly 66 až 72 %.

Malé testy a žebříček, na kterém agent zčásti viděl svou učebnici

Testovací sady jsou malé: 40 úloh v retailu a 20 v letecké části. U letecké části tak jedna úloha posune Pass^4 o 5 procentních bodů. Zisk 10 bodů tam znamená dvě úlohy navíc. Výsledky jsou zajímavé, ale na tak malém vzorku je těžké odlišit stabilní zlepšení od šumu.

Druhý háček je v žebříčku. τ²-bench hodnotí celou sadu, tedy i tréninkové úlohy, ze kterých si agent pravidla vytáhl. IBM to v textu přiznává a čísla na odloženém testu uvádí zvlášť. Titulek o „vítězství bez frontier modelu“ navíc platí jen pro retail. V letecké části skončil GPT-4.1 osmý a první místo získal až s GPT-5.5. Simulovaného zákazníka navíc ve všech bězích hrál GPT-5.5, takže agent mluvil s modelem, ne s naštvaným člověkem.

Rozhodne, jestli tahák vydrží změnu firemní politiky

Skutečná zkouška přijde mimo benchmark. Firemní pravidla se mění, akce končí a reklamační lhůty se posouvají. Až se politika změní, musí se pravidla přeučit, jinak agent začne sebejistě dělat včerejší postupy. Zajímavé bude, jestli někdo ALTK-Evolve nasadí na skutečnou podporu a zveřejní, jak rychle se tahák dá aktualizovat.

Druhým signálem bude přijetí výsledků do oficiálního žebříčku τ²-bench. IBM výsledky poslalo jako pull requesty č. 542 a 551. Knihovna ALTK-Evolve je na GitHubu, takže tvrzení si může ověřit kdokoli s přístupem k API.

Lilithin verdikt

IBM vložilo staršímu modelu do kapsy tahák s 292 pravidly a ten na zákaznické lince předběhl novější kolegy. Část zkoušky ale psal z otázek, ze kterých si tahák opsal, a na lince pro letenky vyhrál až s GPT-5.5.