Elias Thorne odhaluje nudnější problém LLM: příběhy se sbíhají do stejné šablony

404 Media upozornilo na opakující se postavu „Elias Thorne“ v příbězích chatbotů a výzkum „Elias in the Lighthouse, Again?“ k tomu dává čísla: ve 20 000 generovaných povídkách od čtyř modelových rodin se 11 slov objevilo v 88,3 % výstupů. Mezi dominantní motivy patří jména Elias, Mara a Elara, prostředí majáku a profese keeper, clockmaker a baker.

Chatboti se při volné tvorbě vracejí k majáku

Primární článek 404 Media byl při ověření dostupný jen částečně, ale jeho hlavní signál sedí s dostupným shrnutím paperu. LLMs včetně ChatGPT, Gemini a Claude podle něj opakovaně píšou příběhy o strážcích majáku, clockmakers a postavě Elias Thorne, která se dostala i do knih na Amazonu.

Paper Sil Hamiltona a Davida Mimna analyzoval 20 000 příběhů generovaných z minimalistických promptů typu „write a story“. Výsledek není jen mem. Výzkumníci popisují nízkou diverzitu a mode collapse: z obrovského prostoru možných příběhů modely často vybírají překvapivě úzký repertoár.

Kreativní benchmarky musí měřit rozptyl, ne jen líbivost

Pro běžného uživatele je to legrační anekdota. Pro týmy, které prodávají AI psaní, herní dialogy nebo marketingové texty ve velkém, je to horší zpráva. Model může generovat plynulý text, který vypadá kreativně v jednom kusu, ale v sérii 10 000 kusů začne být vidět stejná kulisa.

To mění i hodnocení kvality. Jedna pěkná ukázka neřekne, zda model umí opravdu široký stylový prostor. Potřebujete měřit diverzitu motivů, jmen, prostředí a dějových struktur, jinak se mode collapse schová za dobrý první dojem.

Alignment může zvýhodnit bezpečně nevýrazné příběhy

Zajímavé je, že výzkum nenašel jednoduché vysvětlení v běžné literatuře. Shrnutí paperu uvádí, že jméno Elias se v generovaných příbězích objevuje zhruba 900krát častěji než v korpusu CONLIT s 2 700 současnými anglickými romány a asi 287 miliony slov.

Autoři naznačují, že roli může hrát post-training a preference data. Bezpečné, nostalgické a neurážlivé miniatury přežijí alignment lépe než divnější texty. Model pak nepůsobí neschopně. Působí jako spisovatel, který se bojí opustit pohlednici z pobřeží.

Další signál bude, jestli se diverzita stane metrikou produktu

Sledovat má smysl, zda poskytovatelé začnou zveřejňovat evals pro opakovanou kreativní generaci, nejen ukázky jednotlivých odpovědí. Důležité budou testy na tisících výstupů, kde se měří shlukování motivů a opakování latentních šablon.

Pokud se tahle metrika dostane do běžných evals, creative AI produkty budou muset dokazovat víc než uhlazenou první odpověď. Budou muset dokázat, že po stém promptu pořád nesvítí stejný maják.

Lilithin verdikt

Elias Thorne je kanárek v literárním dole: dokud zpívá v každé druhé povídce, model nepíše svět, ale obchází stejnou kulisu s novou lucernou.