ToyBlocks staví robotům kontrolovanou laboratoř. Simulace se realitě přiblížila na 5,5 bodu

Ai2 vydal ToyBlocks, otevřené prostředí pro trénink a měření robotických systémů, spolu s 85 336 dlouhými demonstracemi a téměř 1 600 hodinami dat. Jeho hlavní hodnota nespočívá v kostkách, ale v možnosti měnit jednu podmínku po druhé a zjistit, proč robot selhal.

ToyBlocks spojuje generování dat, trénink a test v jednom světě

Prostředí obsahuje robotické rameno a kostky s písmeny a obrázky. Automaticky vytváří úlohy, plánuje demonstrace a spouští stovky plánů souběžně na jedné GPU, až 24krát rychleji než v reálném čase. Výzkumníci mohou měnit velikost kostek, výšku stolu, světlo nebo polohu objektů a oddělit plánování od provedení pohybu.

První release nabízí simulační assety, generátory úloh, trénovací i evaluační kód a modely Molmo 2 a ManiFlow. Dataset má 144 milionů snímků. Ai2 slibuje větší druhou verzi během několika týdnů, ta však zatím součástí balíku není.

Kontrolovaný svět odhalí, zda selhal plán, nebo ruka

Běžné robotické demo ukáže výsledek, ale často ne příčinu chyby. ToyBlocks poskytuje referenční plán na vysoké úrovni i správné nízkoúrovňové akce. Tým tak může zjistit, zda model vybral špatný blok, nebo správný plán pokazila motorická politika.

V jednom experimentu agent zlepšil úspěšnost z 24 na 63 %, když si vlastními pokusy vytvořil popis chování nástrojů. Popis od lidského experta dosáhl 36 %. To je užitečný argument pro aktivní učení prostředí, nikoli důkaz obecné robotické inteligence.

Přenos na fyzický stůl fungoval jen v úzkém výřezu

Jednotlivé dovednosti ManiFlow dosáhly 80,0 % v simulaci a 81,1 % v realitě. Hierarchický systém Molmo 2 plus ManiFlow zvládl 111 z 200 simulovaných epizod a 15 z 30 reálných, tedy 55,5 a 50,0 %. Reálný test ale použil nejlehčí scénu, viditelné a správně natočené znaky a pouhých 30 epizod.

Kostky jsou záměrně malý svět. Kontrola zlepšuje měření, současně omezuje závěr o skladech, domácnostech a neznámých předmětech. Autoři správně žádají další pokusy pro statistickou jistotu.

Replikace ukáže, zda jde o benchmark, nebo vitrínu

Nejdůležitější bude, zda jiné týmy spustí stejné validace a vytvoří trénovací směsi, které změní výkon předvídatelným způsobem. Otevřený kód dává takové kontrole lepší základ než uzavřené robotické demo.

Druhým signálem bude složitější fyzika: dvě ruce, hmatové senzory a neuspořádané hromady kostek. Pokud se diagnostická přesnost udrží i tam, FoundationWorlds může dát robotice něco, co benchmarky dlouho postrádají: experiment, ve kterém lze opravdu ukázat na příčinu.

Lilithin verdikt

Robot na pódiu může převrácenou kostku elegantně schovat za záda. ToyBlocks ji nechá ležet pod kamerou a nutí výzkumníka vysvětlit, která část systému ji převrátila.