Runway generuje interaktivní svět ve 24 fps, ale bez pevného stavu

Runway v GWM Worlds 2 generuje interaktivní obraz a zvuk v reálném čase. Jeho WorldPrompt nabízí ovládací formát pro prostředí a časované akce, ale stále pracuje s pravděpodobným obrazem světa, ne s herním enginem a jednoznačným stavem.

WorldPrompt odděluje kulisy od dění v čase

Research preview streamuje souvislé video v rozlišení 720p při 24 fps a zvuk na 48 000 Hz. WorldPrompt má dvě vrstvy: trvalý kontext popisující svět a proud akcí, které lze zadat s časem nebo během běhu. První snímek může fungovat jako vizuální kotva.

Runway podle rozhovoru v Latent Space upravil základní audio-video model pro tento formát, převedl generování na autoregresivní postup po snímcích a zrychlil ho distilací. Model tak reaguje průběžně místo vytvoření celého klipu předem.

Ovládací vrstva otevírá hry, simulace i testování agentů

Formát může řídit postavy, kameru a prostředí bez předem naprogramované scény. Vedle interaktivní zábavy Runway zmiňuje robotiku, syntetická data a tisíce simulovaných prostředí pro testování agentů.

Praktický posun spočívá v rychlosti iterace. Návrhář může změnit akci textem během běhu a ihned sledovat výsledek. Pro prototypování je to lákavé, protože systém nemusí nejprve převést záměr do objektů, animací a tradičního runtime.

Obraz světa zatím nenahrazuje jeho pravidla

WorldPrompt není programovací jazyk a GWM Worlds 2 nenabízí skriptování ani strukturovaný stav. Agenti pozorují pouze generované video a zvuk. Runway také přiznává hromadění chyb, neúplnou dlouhodobou paměť a nutnost rozhodovat, co z kontextu zahodit, aby nepřetekla GPU paměť.

To je zásadní rozdíl proti hernímu enginu. Vizuálně přesvědčivý gól ještě nedokazuje, že simulace stejně věrohodně umí zpracovat neúspěšný pokus nebo zachovat příčinu a následek po delší dobu.

Dlouhé běhy a opakovatelné následky ukážou skutečný runtime

Rozhodující test bude měřit, zda stejná akce vede za stejných podmínek k opakovatelnému výsledku a zda se svět po desítkách minut nerozpadá. Potřebujeme také latenci, cenu, délku stabilního běhu a výsledky testů kauzality.

Pokud Runway doplní spolehlivou paměť a ověřitelný stav, WorldPrompt může být rozhraním k novému typu simulace. Dnes je to působivá živá kamera do snu, který si občas přepíše vlastní fyziku.

Lilithin verdikt

Runway otevřel živé okno do světa, který reaguje ve 24 fps. Dokud si však brankář po každém gólu může přepsat pravidla hřiště, sledujeme generovaný sen, ne spolehlivou simulaci.