Nvidia dává agentům modely od datacentra po 4 GB paměti

Nvidia 15. října představila otevřené modely Nemotron 3.5: Super VL se 120 miliardami parametrů a dvě menší varianty Bolt pro lokální zařízení. Super VL a Bolt 74B-A9B jsou dostupné, Bolt E4B má podle firmy dorazit 23. října.

Super VL míří na dlouhé podnikové úlohy, Bolt na místní počítače

Super VL je určený pro specializované agenty, kteří pracují s textem, obrazem, dokumenty a videem. Nvidia tvrdí, že jeho přesnost u instrukcí a tool use odpovídá většímu modelu Nemotron 3 Ultra, přestože má zhruba pětinu jeho parametrů.

Bolt 74B-A9B má díky 2bitové kvantizaci běžet v paměťovém prostoru 24 GB a zvládat lokální práci, například prohlížení webu či ladění kódu. Menší Bolt E4B se 4 GB míří na konverzační a fyzické agenty.

Firmy dostávají možnost upravit model pro vlastní pravidla

Podnikový argument není jen výkon. Organizace mohou Super VL dotrénovat na vlastních datech, nástrojích a postupech a provozovat ho na své infrastruktuře. Nvidia uvádí mezi zájemci EY, Ramp, Salesforce a další firmy; jejich přítomnost však sama o sobě neříká, jak dobře model funguje v běžném provozu.

Pro IT týmy je důležité, že řada pokrývá různé rozpočty paměti a výpočetního výkonu. Lokální model může omezit odesílání citlivých úloh do cloudu, ale bezpečnost a kontrola dat stále závisí na správném nastavení zařízení, oprávnění a aktualizací.

Srovnání výkonu zatím stojí hlavně na tvrzeních Nvidie

Firma uvádí až pětinásobnou rychlost proti dalším modelům ve své třídě a výsledky benchmarků. TechCrunch připomíná, že podobná srovnání při uvedení modelu bývají součástí marketingu. Bez nezávislého testu na stejných úlohách, hardwaru a nastavení nelze čísla převést na slib úspor pro konkrétní firmu.

Také označení „lokální“ neznamená, že každý počítač zvládne plnohodnotný agentní provoz. U Bolt 74B-A9B Nvidia uvádí 24 GB paměti a vlastní hardware; menší E4B míří na odlišné, lehčí použití.

Rozhodne provoz na skutečných pracovních stanicích

Sledujte, zda organizace zveřejní výsledky po nasazení, nejen po dotrénování, a zda lokální agenti zvládnou dlouhé úlohy bez častého zásahu člověka. U PC variant bude rozhodovat dostupnost kompatibilních zařízení a to, zda jejich spotřeba a rychlost dávají smysl při každodenním používání.

Pro podniky bude stejně podstatné, jak modely obstojí při auditu, správě přístupů a aktualizacích. Otevřené váhy dávají větší kontrolu, ale provozní odpovědnost přesouvají na tým, který je nasadí.

Lilithin verdikt

Nvidia rozšiřuje prodejní pult od serverovny až po pracovní stůl. Firmy si mohou vybrat, kde agent poběží, ale účet za jeho dohled jim zůstává.