Reasoning effort se stává ovladačem ceny, času a spolehlivosti LLM

Sebastian Raschka píše, že od vydání OpenAI o1 uplynuly téměř 2 roky a že DeepSeek-R1 přišel asi o 4 měsíce později s receptem RLVR. Jeho nový text vysvětluje, jak se modely učí režimy nízkého, středního a vysokého reasoning effort, podobně jako současné rodiny modelů s více úrovněmi výpočetního úsilí.

Reasoning effort dává týmům knoflík místo jedné výchozí odpovědi

Raschka rámuje reasoning model jako model, který vytváří mezikrokovou stopu, pracuje krok za krokem a může se cestou opravit. U effort režimů nejde jen o delší odpověď. Jde o volbu, kolik výpočtu a času má model utratit před finálním výsledkem.

V praxi je to produktové rozhraní nad inference scalingem. U triviálních dotazů je vysoký effort plýtvání. U kódu, matematiky nebo rozhodnutí s náklady může být nízký effort falešná úspora.

Vývojáři budou ladit rozpočet myšlení stejně jako latenci

Pro aplikační týmy to znamená novou vrstvu řízení. Nestačí vybrat model a napsat prompt. Bude nutné rozhodnout, které typy úloh dostanou levný režim, které vyšší effort a kdy se má požadavek eskalovat.

To dobře zapadá do agentních systémů. Agent může běžet levně u rutinních kroků, ale přepnout do vyššího effortu při plánování, opravě chyby nebo před akcí, která mění data.

Více přemýšlení není automaticky více pravdy

Vyšší reasoning effort může zlepšit výkon na některých úlohách, ale nepřináší záruku správnosti. Model může delší stopou jen sofistikovaněji obhajovat špatný směr. Proto musí effort režimy doprovázet evals, měření latence a kontrola ceny, ne pocit, že delší přemýšlení je samo o sobě kvalita.

Dobré evals určí, kdy má model zpomalit

Další práce bude v mapování úloh na effort režimy. Týmy budou potřebovat evals, které ukážou, kde vyšší effort opravdu zvyšuje přesnost, a kde jen pálí tokeny. Teprve pak se z reasoning effortu stane spolehlivý ovladač, ne dekorace v API.

Lilithin verdikt

Reasoning effort je pedál plynu na drahém motoru. Kdo ho drží sešlápnutý pořád, nevypadá chytřeji, jen nechává za sebou delší účtenku za stejnou cestu.