Muse Wonder přidává Metě výkon, llm-meta-ai 0.2 ho otevírá terminálu

Simon Willison vydal llm-meta-ai 0.2, plugin pro práci s Meta AI API z nástroje LLM. Aktualizace přidává podporu čerstvě uvedených modelů Muse Wonder a Muse Wonder Full a dává vývojářům rychlou cestu k jejich porovnání.

Plugin zpřístupňuje šest stupňů reasoning

Willison ukázal výstupy Muse Wonder pro úrovně minimal, low, medium, high, xhigh a max. Jako stálý test použil svůj motiv pelikána jedoucího na kole a nejvyšší nastavení zveřejnil vedle starších výsledků. Meta oba modely označuje za své dosud nejschopnější.

Srovnání zahrnuje také Muse 1.2 z 5. srpna a Muse 1.3 z 2. září. Tři verze v rozmezí zhruba dvou měsíců ukazují rychlou kadenci vydávání. Obrázky přitom slouží jako názorná kontrola změny, ne jako standardizovaný benchmark.

Terminál zkracuje cestu od oznámení k vlastnímu eval

Plugin má praktickou hodnotu hlavně pro lidi, kteří nechtějí hodnotit model podle firemního dema. Stejný prompt lze pustit přes více úrovní reasoning a výsledek uložit vedle odpovědí jiných modelů v rámci jednoho nástroje.

To mění první hodiny po vydání modelu. Místo čekání na podporu ve velké platformě si tým může připravit malý eval nad vlastními úlohami a zjistit, zda vyšší reasoning přináší lepší výsledek, nebo jen delší běh.

Pelikán ukazuje pokrok, ale neměří produkční práci

Jeden opakovaný obraz dobře odhalí deformace, kompozici a poslušnost vůči promptu. Neříká nic spolehlivého o přesnosti kódu, práci s dlouhým kontextem ani stabilitě API. Ani tvrzení Artificial Analysis, že varianta Muse Wonder Max vychází na úrovni GPT-6.1 Sol, nenahrazuje test na konkrétním workflow.

Rozdíly mezi šesti nastaveními navíc mohou znamenat jiný poměr kvality, latence a ceny. Bez měření všech tří veličin je poloha max jen nejsilnější ukázka, nikoli automatická volba pro produkci.

Vlastní úlohy rozhodnou, zda měsíční tempo něco přináší

Dalším signálem budou opakovatelné evals Muse Wonder proti Muse 1.3 při stejných promptech, nastavení a rozpočtu. Uživatelé potřebují vidět nejen nejlepší výstup, ale také rozptyl výsledků a dobu odezvy.

llm-meta-ai 0.2 k takovému testu odstraňuje jednu překážku. Pokud se rozdíl udrží i na kódu, extrakci dat a práci s nástroji, rychlá kadence Mety bude znamenat víc než pravidelnou výměnu jména modelu.

Lilithin verdikt

Pelikán na kole je dobrý kouřový test, ale produkční model se pozná až ve chvíli, kdy dostane rozbitý kód z živého repozitáře. llm-meta-ai 0.2 pouští týmy do té zkušebny bez slavnostního přestřižení pásky.