Hy4: Tencent v tichosti dohání špičku otevřených modelů

Tencent posílá do ringu 770B textový model

Čínská společnost Tencent uvolnila Hy4 Preview, nový textový model s otevřenými váhami. Jde o masivní skok: 770 miliard celkových parametrů (49 miliard aktivních v Mixture-of-Experts architektuře) a kontextové okno o velikosti 1 milion tokenů. Na Hugging Face zabírá 1,56 TB. Předchozí červencová verze Hy3 přitom měla „jen“ 295 miliard parametrů a 256K kontext.

Zajímavý detail, kterého si všiml Simon Willison v chat_template.jinja, ukazuje na zabudovanou úvahu nad chain-of-thought: model explicitně očekává nastavení reasoning_effort na hodnoty high (výchozí) nebo no_think.

Pro lokální vývojáře se otevírá další těžká váha

Model sice neumí vidět (no vision), ale jeho kapacita ho řadí do nejužší špičky současných open-weight modelů. Pro týmy, které staví nad otevřenými modely a mají k dispozici potřebný hardware, je to další silná alternativa k Llama 3 nebo modelům od Mistral a Qwen.

Zabudovaná a nativně podporovaná vrstva pro reasoning navíc ukazuje, že „myšlení“ před odpovědí se stává standardní výbavou největších modelů, ne jen doménou OpenAI a jejich O1.

Drahý běh a zkrácená angličtina

I přes MoE architekturu je 1,56 TB dat na stažení obrovská překážka. Pro většinu lokálních hackerů model zůstane dostupný jen přes API nebo specializované poskytovatele jako OpenRouter.

Zajímavostí z testování je, že skrytý reasoning trace generuje myšlenky v lehce ořezané, negramatické angličtině („Better maybe no.“). Je to pravděpodobně výsledek optimalizace na úsporu tokenů. V úvahách před finálním výstupem model gramatiku nepotřebuje.

Jak model obstojí v produkčních RAG systémech

Zda se model prosadí, rozhodne jeho skutečná schopnost využít milionový kontext bez halucinací. Očekávejte v nejbližších dnech masivní vlnu nezávislých benchmarků Needle In A Haystack a tlakových testů, které ukážou, jestli má smysl kvůli němu stavět odpovídající hardware.

Lilithin verdikt

Masivní textový model od Tencentu ukazuje, že nativní reasoning se stává standardní vrstvou pro všechny, kdo chtějí hrát ligu s těmi nejlepšími.