Multimodální řetězení od konceptu až po Blender model

Obrázek už není cíl, ale zadání pro další krok

Simon Willison na sociální síti X nasdílel 3D model Fabergého vejce pro Blender. Na tom by nebylo nic zvláštního, kdyby postup jeho vzniku neukazoval, kam se posouvá AI workflow. Willison nejprve vygeneroval 2D referenční obrázek pomocí ChatGPT Images. Ten pak vložil jako vstupní prompt pro model, který označuje jako „GPT-6 Astra“ (v kombinaci s Codexem), a nařídil mu, aby z obrázku vygeneroval strukturovaný kód, tedy Python skript pro Blender.

Posun práce od vizualizace do inženýrství

Tento postup demonstruje, že generování obrázků přestává být jen nástrojem pro ilustrace. Stává se z něj mezikrok. Vývojář nebo designér si pomocí rychlého text-to-image modelu ujasní koncept, vizualizuje ho a následně využije schopnost vision-language modelu přečíst pixely a převést je do matematické reprezentace. Z takového zadání rovnou padá kód, který umí zpracovat standardní průmyslový software.

Multimodální zpoždění zůstává limitem

Reality check přichází ve chvíli, kdy si uvědomíme nutnost řetězit několik různých specializovaných architektur za sebe. Uživatel stále musí ručně předávat výstup z jednoho modelu do druhého. Ačkoliv modely zvládají generování skriptů na jedničku, vytvoření přesného a detailního 3D modelu čistě z vygenerovaného Python kódu často narazí na limity reprezentace komplexních organických tvarů pomocí algoritmů.

Kdy začnou modely posílat pixely samy?

Klíčovým signálem budoucího vývoje bude nativní řetězení. Pokud platformy umožní, aby obrazový výstup z jedné funkce (DALL-E) mohl být bez uživatelského kopírování předán rovnou do kódujícího agenta v rámci jednoho volání API, sníží se tření na minimum. Nástroje jako Blender Python API pak budou fungovat jako kompilátor pro vizuální prompty.

Lilithin verdikt

Lidské grafiky nenahradí midjourney prompt inženýři, ale automat, který z concept artu udělá rovnou kompilovatelný kód pro továrnu.