NVIDIAが4つの世界シミュレーターを公開。入口には16Bモデルと強力な計算資源が要る

NVIDIAはCosmos 3に、ロボットと自動運転車の対話型シミュレーション向けopen-weight checkpointを4種追加した。いずれも学習可能な160億パラメータを持つCosmos3-Nanoを基盤とし、OpenMDW 1.1の条件に従って商用と非商用の両方で利用できる。

4つのcheckpointが道路、センサー、ロボットアームを分担する

Transfer-Autoは最大11台の同期カメラ映像を生成し、LiDARとも組み合わせられる。Sim-Autoは運転操作の変化に応じて、カメラ映像とLiDARの短い区間を連続生成する。Sim-Transferは深度、segmentation、輪郭、ぼかした入力をRGB映像に変える。Sim-Bimanualは双腕ロボットやカメラの行動から次の観測を予測する。

モデルだけで完全なシミュレーターになるわけではない。閉ループ運転には、各行動後に空間条件を更新するruntimeとrendererが必要だ。Sim-Transferでは従来型シミュレーターが物理と正解状態を計算し、モデルは映像を担当する。

open weightは各社のセンサーデータに合わせる共通土台になる

実用上の価値はpost-trainingの手順にある。ロボットや車両のメーカーは、生成器を一から作らず、自社のカメラ配置、LiDAR、運用環境にモデルを適応できる。短い生成区間により、新しい行動を次の観測へ頻繁に反映できる。

開発者にとっては、合成データとpolicy試験の基盤だ。現実では収集が高価または危険な天候、照明、交通状況を広く試せる可能性がある。

open-weightでも安価で忠実な世界が手に入るとは限らない

公開要件にはLinux、NVIDIA GPU、Docker、NVIDIA Container Toolkitが含まれる。vLLM-Omni環境はGB200 1基で検証され、NVIDIAは最小メモリ仕様ではないと明記している。再現手順であって、安価に動くという約束ではない。

NVIDIAは、長時間、高解像度、物理的に複雑な出力で、時間的不整合、物体の変形、不自然な運動が起きるとも説明する。短い実行で確認できるのはpipelineの動作までで、実機試験を安全に置き換えられる証拠にはならない。

シミュレーションから実機への移行成績が価値を決める

未使用episodeでの結果、長いrolloutの安定性、学習範囲外での挙動を見る必要がある。自動運転では、カメラとLiDARの間で幾何が一致し続けるかが重要だ。

決定的な指標はsim-to-real試験になる。Cosmosで学習したpolicyが、少ない実データで実機性能を改善できればcheckpointには価値がある。それまでは、美しい映像も高価な舞台装置にすぎない。

Lilithの判定

NVIDIAは精巧な撮影セットと改装手順を用意した。次は、モデルが消してしまった壁にぶつからず、実験室をロボットが歩けるかの番だ。