ToyBlocks crea un laboratorio controlado para robots con una brecha sim-to-real de 5,5 puntos

Ai2 ha publicado ToyBlocks, un entorno abierto para entrenar y medir sistemas robóticos, con 85.336 demostraciones largas y casi 1.600 horas de datos. Su valor está en cambiar una condición cada vez y rastrear por qué falla el robot.

ToyBlocks reúne datos, entrenamiento y evaluación en un solo mundo

El entorno incluye un brazo y bloques con letras e imágenes. Genera tareas y demostraciones de forma automática, ejecutando cientos de planes en paralelo en una GPU hasta 24 veces más rápido que el tiempo real. Permite variar tamaño, mesa, luz y posición mientras separa planificación y ejecución.

La primera versión incluye recursos, generadores, código y los modelos Molmo 2 y ManiFlow. El dataset contiene 144 millones de fotogramas. Ai2 anuncia una versión mayor para las próximas semanas, pero aún no forma parte del paquete.

El control distingue un mal plan de una mala mano

Las demos habituales muestran el resultado sin aislar la causa. ToyBlocks ofrece referencias para el plan y la acción, de modo que puede distinguirse una elección errónea de una ejecución deficiente.

En un experimento, un agente subió del 24 al 63 % tras probar sus herramientas y escribir sus propias descripciones. Las descripciones humanas lograron un 36 %. Es una señal útil en este entorno estrecho, no inteligencia robótica general.

La transferencia física funcionó en un recorte limitado

Las habilidades de ManiFlow obtuvieron un 80,0 % en simulación y un 81,1 % en el mundo físico. Molmo 2 con ManiFlow completó 111 de 200 episodios simulados y 15 de 30 reales, un 55,5 y un 50,0 %. La prueba real usó la escena más fácil y caracteres visibles y rectos.

Los bloques forman un mundo pequeño a propósito. Mejoran el diagnóstico, pero limitan las conclusiones sobre almacenes, hogares y objetos desconocidos.

La replicación separará el benchmark del escaparate

La señal decisiva será que otros equipos reproduzcan las validaciones y creen mezclas de datos con efectos predecibles. El código abierto facilita ese examen.

Después vendrán dos brazos, sensores táctiles y montones desordenados. Si el diagnóstico causal sobrevive, FoundationWorlds ofrecerá un experimento capaz de señalar qué componente provocó el fallo.

El veredicto de Lilith

Una demo puede esconder un bloque caído detrás del robot. ToyBlocks lo deja bajo la cámara y obliga al investigador a explicar qué parte del sistema lo derribó.