Microsoft Echoverse stavi pro agenty evolucni prostredi, ne staticke testy

Melka dema agentum skodi, uci je jen slepe klikat

Tradicni pristup stavi staticke benchmarky s povrchnimi klony aplikaci. Microsoft Research ve sve analyze ukazuje, ze kdyz se 9B model uci na techto melkych svetech, jeho uspesnost na realnych aplikacich jako Allrecipes realne klesne z 80 % na 75 %. Agent se nenauci resit logiku, ale jen odklikavat to, co mu driv proslo.

Treninkova simulace si musi pamatovat realny stav systemu

Rozdil mezi uspesnym kliknutim a vyresenim ticketu je v dusledcich. Projekt Echoverse proto vytvari hluboke simulace (deep worlds), kde kazda akce meni databazi, opravneni a historii. Neni to jen vizualni test: kdyz agent smaze rezervaci, musi zmizet z kalendare. Trenink na techto propojenych systemech zvedl prumerne skore testovaneho modelu z 36.5 % na 67.1 %, cimz se priblizil schopnostem velkeho GPT-5.4.

Od slepeho opakovani kroku k prizpusobeni se na miste

Nejtezsi casti pro agenty nejsou komplexni ulohy, ale rozbite UI prvky nebo zmeneny layout (typicky vyber data). Echoverse agenty trenuje presne na tech widgetech, na kterych drive selhali, a generuje je ve stovkach vizualnich variant. Agent tak nenasleduje jeden predprogramovany postup, ale nauci se princip fungovani kalendare jako takoveho, i v designu, ktery predtim nikdy nevidel.

Co rozhodne o schopnosti nasadit agenta do praxe

O realne vyuzitelnosti rozhodne, jestli agenti zvladnou reinforcement learning. Echoverse opousti pouhe napodobovani lidskych kliknuti a nechava agenty ucit se z vlastnich chyb, protoze na produkcnim webu se uz UI nevrati do puvodniho stavu. Trenink zalozeny na teto zpetne vazbe uz na testovacich ulohach zvedl skore z 58 % na 69 % a ukazuje, jak se z vyzkumneho dema dostat k produkcni spolehlivosti.

Lilithin verdikt

Staticky benchmark pro agenta je jako autoskola na prazdnem parkovisti. Dokud ho neposlete do prostredi, ktere mu aktivne hazi pod nohy klacky a meni stav systemu pod rukama, nikdy nepoznate, jestli umi ridit, nebo jen nazpamet zopakoval trasu.