Tag
#inference
Z Knihovny
Knihovna
Ekonomika modelů — cena inteligence v provozu
Tokeny, latency, throughput, kvalita a riziko v jednom účtu. Model není jen chytrý nebo hloupý; je drahý, pomalý, levný, lokální nebo provozně únosný.
Číst →Knihovna
Inference-time compute (Reasoning modely)
Výpočet navíc při řešení jednoho dotazu může zlepšit některé náročné úlohy, ale není zárukou správné odpovědi a prodlužuje čekání.
Číst →Knihovna
Orchestrace modelů: jak vybírat a skládat modely v AI systému
Orchestrace modelů rozhoduje, který model má dostat kterou část práce. Spojuje routing, předávání, fallbacky, cenu, rychlost, kvalitu, bezpečnost a přenositelnost do jednoho provozního řízení.
Číst →