ToyBlocksがロボット学習に統制された実験室を提供、sim-to-real差は5.5ポイント

Ai2はロボットシステムを訓練し測定するオープン環境ToyBlocksを公開した。85,336件の長時間実演と約1,600時間のデータを含む。価値は積み木そのものではなく、条件を一つずつ変えて失敗原因を追跡できる点にある。

ToyBlocksはデータ生成から評価まで一つの世界でつなぐ

環境にはロボットアームと文字や絵の付いたブロックがある。課題と実演を自動生成し、1基のGPUで数百の計画を並列実行する。速度は実時間の最大24倍である。ブロック、机、照明、位置を変えながら、上位計画と下位動作を分離できる。

初版にはsimulation素材、生成器、訓練と評価のコード、Molmo 2とManiFlowが含まれる。datasetは1億4,400万frameである。大規模な第2版は予告済みだが、現行packageにはまだない。

統制された世界は悪い計画と悪い手を切り分ける

一般的なロボットdemoは結果を見せても原因を分離しにくい。ToyBlocksは上位と下位の正解を用意し、誤ったブロック選択と正しい計画の実行失敗を区別できる。

ある実験では、agentが自分で試験してtool説明を書くと成功率が24 %から63 %へ上がった。人間の専門家による説明は36 %だった。狭い環境での学習には有望だが、汎用ロボット知能の証明ではない。

実機への移行は意図的に狭い条件で試された

ManiFlowの単一skillはsimulationで80.0 %、実機で81.1 %だった。Molmo 2とManiFlowはsimulationで200回中111回、実機で30回中15回に成功し、55.5 %と50.0 %となった。実機試験は最も簡単な配置で、文字も見えて正立していた。

小さな世界は診断を改善する一方、倉庫や家庭への一般化を制限する。著者も統計的確信には追加試験が必要だと認める。

再現試験がbenchmarkと展示品を分ける

他チームが結果を再現し、予測可能な効果を持つ訓練dataを作れるかが重要だ。公開コードは閉じたdemoより検証しやすい。

次は両腕、触覚sensor、乱雑な山である。そこで原因診断が保たれれば、FoundationWorldsは失敗した部品を指せる実験をroboticsに提供できる。

Lilithの判定

舞台demoなら倒れたブロックをロボットの背後に隠せる。ToyBlocksはカメラの下に残し、どの部品が倒したのかを研究者に説明させる。