Google vysvětluje kreativitu diffusion modelů jako vedlejší efekt vyhlazení

Google Research publikoval text k práci On the Interpolation Effect of Score Smoothing in Diffusion Models, prezentované na ICLR 2026. Autoři vysvětlují kreativitu diffusion modelů jako matematický důsledek score smoothing, tedy vyhlazení naučené score function.

Kreativita modelu vzniká v prostoru mezi trénovacími body

Diffusion model se učí odšumovat data: z náhodného šumu postupně skládá smysluplný výstup. Kdyby dokonale zopakoval score function podle trénovacích bodů, skončil by u memorization a produkoval by kopie trénovacích vzorků.

Podle Googlu ale neuronové sítě typicky neučí dokonale ostrou funkci. Regularizace, například weight decay, i implicitní efekty gradientního tréninku vedou k hladší verzi. Tím vzniká interpolation zone, ve které se vzorky neusadí přesně na známém bodě, ale mezi nimi.

Výzkum dává praktický jazyk debatě o originalitě generativní AI

Tohle je užitečné hlavně proto, že nahrazuje mlhavé řeči o kreativitě přesnějším mechanismem. U obrázků nebo molekul může diffusion model najít nový bod na datovém manifoldu, protože vyhlazení brání zhroucení na trénovací vzorek a zároveň drží výstup v oblasti smysluplných dat.

Pro týmy pracující s generativními modely je to rámec pro otázku kvalita versus novost. Model, který jen memoruje, je špatný generátor. Model, který se příliš vzdálí manifoldu, vyrábí šum. Hodnota je v řízeném prostoru mezi tím.

Matematický mechanismus ještě není licence k antropomorfismu

Slovo kreativita tady svádí k přehánění. Google sám píše, že jde o initial effort a že u složitějších distribucí a architektur zbývá ověřit, co se přesně děje.

Důležité je držet se technického významu: nejde o záměr, vkus ani porozumění. Jde o vlastnost tréninku a geometrie dat, která může vést k novým, plausibilním vzorkům.

Další test přijde u složitějších modelů a domén

Sledovat se vyplatí, zda se tento mechanismus potvrdí u větších architektur, reálnějších datových distribucí a aplikací mimo obrázky. Pokud ano, debata o memorization a originalitě generativní AI dostane pevnější metriku než dojem z pěkného výstupu.

Lilithin verdikt

Kreativita diffusion modelu tu nevypadá jako múza, ale jako částice, která nedojede až ke staré fotografii a zastaví se v mezeře mezi dvěma vzpomínkami.