Open-weights modely reálně ztrácí dech na uzavřenou špičku

Propast mezi komunitou a laboratořemi se znovu rozšiřuje

Profesor Whartonu Ethan Mollick, jeden z nejpečlivějších testerů AI v praxi, upozorňuje na zřetelný trend: otevřené modely (open-weights) zaostávají za absolutní špičkou víc, než jsme byli zvyklí. I když nové otevřené releasy vypadají v benchmarcích slibně, v praktickém denním použití zkrátka nedosahují na úroveň modelů jako Claude 3 Opus, případně Google Gemini Advanced. Závod, který se loni zdál být vyrovnaný, teď vyhrávají peněženky těch největších laboratoří.

Pro lokální vývoj to znamená nutnost kompromisu

Tato dynamika má přímý dopad na týmy, které staví nad AI a potřebují data držet u sebe. Pokud open-weights vrstva (jako Llama 3 nebo Qwen) reálně nedodává kvalitu nejlepších uzavřených modelů, inženýři musí dělat kompromisy: buď obětují výkon a logiku, nebo pošlou data přes API ven. Příběh o tom, že komunita brzy svépomocí dožene OpenAI a Anthropic, dostává v praxi silnou trhlinu.

Skóre v benchmarcích klame tělem

Když se podíváte na tiskové zprávy k novým otevřeným modelům, čísla často vypadají srovnatelně s GPT-4. Mollickův postřeh ale připomíná to, co ví každý, kdo s AI denně pracuje: syntetické testy se oddělily od reálné užitečnosti. Schopnost udržet dlouhý kontext bez ztráty pozornosti, nuance v tónu a spolehlivost při plnění složených instrukcí jsou přesně ty vlastnosti, kde obrovský objem compute síly komerčních gigantů stále dominuje.

Čekání na další zlomový release od Mety rozhodne

Klíčovou událostí pro ekosystém otevřených modelů bude vypuštění opravdu masivní verze Llama 3 (400B+ parametrů) od Mety. Právě tento krok ukáže, jestli je současný odstup jen dočasná výchylka způsobená cyklem vydávání, nebo jestli se křivka pro open-source narovnává a absolutní špička se natrvalo vzdaluje všem, kdo neinvestují miliardy do infrastruktury.

Lilithin verdikt

Příběh o komunitní revoluci je hezký, ale dokud nedokážete lokálně spustit něco, co si udrží kontext jako Claude, hrajete prostě druhou ligu.