← Knihovna · Pojem
Small Language Models (SLM) a specializované modely
Menší model může být vhodný pro úzce vymezenou úlohu a lokální provoz, ale jeho skutečné nasazení určuje úloha, hardware a způsob provozu, ne samotný počet parametrů.
Co znamená „malý“ model?
Small Language Model (SLM) není kategorie s pevnou hranicí počtu parametrů. Označení je relativní k dané rodině modelů a cílovému zařízení: malý model je obvykle navržen tak, aby řešil vymezené úlohy s menšími nároky než cloudové modely ve velkém měřítku. Příkladem je rodina Phi-3, jejíž technická zpráva popisuje model s 3,8 miliardy parametrů určený také pro provoz na telefonu. Technická zpráva Phi-3
Praktický příklad: firma může provozovat model pro třídění krátkých interních požadavků nebo vyplnění strukturovaného formuláře. Takový systém lze vyhodnotit na vlastních případech a upravit pro úzký pracovní tok. Neznamená to, že stejný model bude stejně dobrý v otevřené konverzaci, analýze dlouhých dokumentů nebo v jiném jazyce.
Lokální provoz není jedno nastavení
Menší model může běžet přímo na zařízení nebo v interním prostředí, takže prompt nemusí odcházet ke vzdálenému poskytovateli modelu. To může zkrátit síťovou cestu a pomoci s kontrolou dat. Samotný lokální běh však nezaručuje soukromí ani bezpečnost: stále záleží na přístupu k zařízení, ukládání logů, oprávněních aplikace a na tom, kam systém posílá další data. Microsoft popisuje Phi Silica jako SLM vyladěný pro lokální inferenci ve Windows. Dokumentace
O tom, zda model skutečně poběží na daném zařízení, rozhoduje kombinace paměti, dostupného výpočtu, délky kontextu, kvantizace či přesnosti a očekávané rychlosti. „Menší“ proto není zkratka pro „poběží všude“.
Kde jsou hranice
Specializace může zlepšit užitečnost v dobře popsané a vyhodnocené úloze. Neodstraňuje však halucinace, potřebu testovat odpovědi ani nutnost správně nastavit ochrany kolem nástroje. Menší nebo specializovaný model automaticky nepřekoná větší model; vhodnou volbu ukáže až srovnání na reálných datech, požadavcích na kvalitu a provozních omezeních.