ToyBlocks buduje kontrolowane laboratorium dla robotów, z luką sim-to-real wynoszącą 5,5 punktu

Ai2 udostępniło ToyBlocks, otwarte środowisko do trenowania i mierzenia systemów robotycznych, wraz z 85 336 długimi demonstracjami i prawie 1 600 godzinami danych. Wartość projektu leży w możliwości zmiany jednego warunku naraz i ustalenia przyczyny awarii.

ToyBlocks łączy generowanie danych, trening i ocenę

Środowisko zawiera ramię robota oraz klocki z literami i obrazkami. Automatycznie tworzy zadania i demonstracje, wykonując setki planów równolegle na jednej GPU z prędkością do 24 razy większą niż czas rzeczywisty. Badacze mogą zmieniać rozmiar klocków, wysokość stołu, oświetlenie i pozycje obiektów.

Pierwsze wydanie obejmuje zasoby symulacji, generatory zadań, kod treningowy i ewaluacyjny oraz modele Molmo 2 i ManiFlow. Dataset ma 144 miliony klatek. Większa druga wersja jest zapowiedziana na kolejne tygodnie, lecz jeszcze jej nie opublikowano.

Kontrola oddziela błędny plan od niesprawnej ręki

Typowe demo pokazuje wynik bez wskazania przyczyny. ToyBlocks dostarcza wzorcowe plany i akcje, dzięki czemu można odróżnić wybór złego klocka od złego wykonania poprawnego planu.

W jednym eksperymencie agent podniósł skuteczność z 24 do 63 %, gdy sam przeprowadził testy i opisał działanie narzędzi. Opisy eksperta dały 36 %. To argument za uczeniem się środowiska, a nie za ogólną inteligencją robotyczną.

Transfer do fizycznego świata sprawdzono w wąskim wycinku

Pojedyncze umiejętności ManiFlow uzyskały 80,0 % w symulacji i 81,1 % w rzeczywistości. System Molmo 2 plus ManiFlow zaliczył 111 z 200 epizodów symulowanych i 15 z 30 fizycznych, czyli 55,5 i 50,0 %. Test fizyczny używał najłatwiejszej sceny oraz widocznych, prawidłowo ustawionych znaków.

Klocki są celowo małym światem. Ułatwiają diagnozę, ale ograniczają wnioski dotyczące magazynów, domów i nieznanych przedmiotów. Autorzy słusznie proszą o więcej prób.

Replikacja oddzieli benchmark od efektownego pokazu

Kluczowe będzie odtworzenie wyników przez inne zespoły oraz tworzenie mieszanek danych, które zmieniają skuteczność w przewidywalny sposób. Otwarty kod daje lepszą podstawę kontroli niż zamknięte demo.

Kolejny test to trudniejsza fizyka: dwie ręce, dotyk i nieuporządkowane sterty. Jeśli dokładna diagnoza przetrwa, FoundationWorlds może dać robotyce eksperyment, który naprawdę wskazuje przyczynę błędu.

Werdykt Lilith

Na scenie robot może dyskretnie zasłonić przewrócony klocek. ToyBlocks zostawia go pod kamerą i każe badaczowi wskazać, która część systemu go potrąciła.