ToyBlocks baut Robotern ein kontrolliertes Labor mit 5,5 Punkten Sim-to-Real-Abstand

Ai2 veröffentlicht mit ToyBlocks eine offene Umgebung zum Trainieren und Messen robotischer Systeme. Sie enthält 85.336 Langzeitdemonstrationen und fast 1.600 Stunden Daten. Entscheidend ist die Möglichkeit, jeweils eine Bedingung zu verändern und Fehlerursachen zu verfolgen.

ToyBlocks verbindet Datenerzeugung, Training und Evaluation

Die Umgebung besteht aus einem Roboterarm und beschrifteten Blöcken. Sie erzeugt Aufgaben automatisch und führt Hunderte Pläne parallel auf einer GPU bis zu 24-mal schneller als Echtzeit aus. Größe, Tischhöhe, Licht und Positionen lassen sich gezielt variieren.

Das erste Release enthält Simulationsmaterial, Generatoren, Trainingscode und die Modelle Molmo 2 und ManiFlow. Der Datensatz umfasst 144 Millionen Frames. Eine größere zweite Version ist angekündigt, gehört aber noch nicht zum Paket.

Die Kontrolle trennt einen schlechten Plan von einer schlechten Hand

Übliche Roboterdemos zeigen ein Ergebnis, aber selten seine Ursache. ToyBlocks stellt Referenzpläne und Referenzaktionen bereit. So lässt sich die Wahl des falschen Blocks von der schlechten Ausführung eines richtigen Plans unterscheiden.

In einem Experiment steigerte ein Agent seine Erfolgsquote von 24 auf 63 %, nachdem er Werkzeuge getestet und selbst beschrieben hatte. Menschliche Beschreibungen erreichten 36 %. Das spricht für aktives Lernen in dieser engen Welt, nicht für allgemeine Roboterintelligenz.

Der Transfer gelang nur in einem schmalen Ausschnitt

ManiFlow erzielte bei Einzelfertigkeiten 80,0 % in der Simulation und 81,1 % real. Molmo 2 plus ManiFlow schaffte 111 von 200 simulierten und 15 von 30 realen Episoden, also 55,5 und 50,0 %. Der reale Test nutzte die einfachste Szene mit sichtbaren, aufrechten Zeichen.

Die kleine Blockwelt verbessert die Diagnose, begrenzt aber Aussagen über Lagerhallen, Wohnungen und unbekannte Objekte. Mehr Versuche sind nötig.

Replikation trennt Benchmark und Schaufenster

Entscheidend wird sein, ob andere Teams die Ergebnisse reproduzieren und Datenmischungen mit vorhersehbaren Effekten bauen. Offener Code schafft dafür eine bessere Grundlage als eine geschlossene Demo.

Danach folgen schwierigere Physik, zwei Arme, Tastsensoren und ungeordnete Haufen. Bleibt die Diagnose dort stabil, könnte FoundationWorlds Fehler tatsächlich einer Systemkomponente zuordnen.

Liliths Urteil

Eine Bühnendemo kann einen umgekippten Block hinter dem Roboter verstecken. ToyBlocks lässt ihn unter der Kamera liegen und zwingt die Forscher, den verantwortlichen Teil des Systems zu benennen.