Runway、24 fpsの対話世界を生成するが固定stateは持たない

RunwayのGWM Worlds 2は、映像と音声を対話的にリアルタイム生成する。WorldPromptは環境と時間指定actionの制御形式を提供するが、明確なstateを持つgame engineではなく、もっともらしい世界の映像を生成する仕組みだ。

WorldPromptは風景と時間軸上の出来事を分ける

research previewは、720p、24 fpsの連続映像と48,000 Hzの音声をstreamingする。WorldPromptは、世界を記述する持続的contextと、timestamp付きまたは実行中に入力するaction streamの2層で構成される。最初のframeは視覚的な基準として使える。

Latent Spaceの取材によると、Runwayは基盤audio-video modelをこの形式向けにfine-tuningし、frameを順次作るautoregressive生成へ変換し、distillationで高速化した。全clipを先にrenderingするのではなく、継続的に反応する。

制御層はゲーム、simulation、agent testを広げる

事前にsceneをprogrammingしなくても、人物、camera、環境を指示できる。Runwayは対話型entertainmentに加えて、robotics、synthetic data、agentを試す数千のsimulation環境を用途として挙げる。

実務上の利点は反復の速さだ。designerは実行中にtextでactionを変更し、結果をすぐ確認できる。意図をobject、animation、従来型runtimeへ変換する工程を省けるため、prototypeには魅力がある。

世界の映像だけではルールを固定できない

WorldPromptはprogramming languageではなく、GWM Worlds 2にはscriptingもstructured stateもない。agentが観測するのは生成された映像と音声だけだ。Runwayは、errorの累積、不完全な長期記憶、GPU memoryを圧迫しないためのcontext破棄も課題として認めている。

これはgame engineとの本質的な違いだ。説得力のあるgoalを描けても、失敗したshotを同じ精度で再現し、長時間にわたり因果関係を保てる証拠にはならない。

長時間動作と再現可能な結果がruntimeの実力を示す

決定的なtestは、同じ条件とactionから再現可能な結果が出るか、数十分後も世界が一貫しているかを測ることだ。latency、価格、安定稼働時間、因果性評価の結果も必要になる。

信頼できる記憶と検証可能なstateが加われば、WorldPromptは新しいsimulationのinterfaceになり得る。現状は、自分の物理法則を時々書き換える夢を映す、印象的なlive cameraだ。

Lilithの判定

Runwayは24 fpsで反応する世界へのlive windowを開いた。ただしgoalのたびにgoalkeeperがpitchの規則を書き換えられる間は、信頼できるsimulationではなく生成された夢を見ている。