Nvidia sprowadza agentów z centrów danych na urządzenia z 4 GB pamięci

15 października Nvidia przedstawiła otwarte modele Nemotron 3.5: Super VL ze 120 mld parametrów oraz dwie mniejsze wersje Bolt przeznaczone do pracy lokalnej. Super VL i Bolt 74B-A9B są już dostępne, a Bolt E4B ma trafić na rynek 23 października.

Super VL obsłuży zadania firmowe, a Bolt działa lokalnie

Super VL powstał z myślą o wyspecjalizowanych agentach pracujących z tekstem, obrazami, dokumentami i wideo. Nvidia twierdzi, że jego dokładność w wykonywaniu instrukcji i korzystaniu z narzędzi dorównuje większemu Nemotronowi 3 Ultra, choć model ma około pięć razy mniej parametrów.

Bolt 74B-A9B dzięki kwantyzacji 2-bitowej mieści się w 24 GB pamięci i ma obsługiwać lokalne zadania, takie jak przeglądanie stron czy debugowanie kodu. Mniejszy Bolt E4B wymaga 4 GB i jest przeznaczony dla agentów konwersacyjnych oraz fizycznych.

Firmy mogą dostroić model do własnych zasad

Argument dla przedsiębiorstw nie ogranicza się do wydajności. Organizacje mogą dalej trenować Super VL na własnych danych, narzędziach i procesach, a następnie uruchamiać go na własnej infrastrukturze. Nvidia wymienia wśród użytkowników EY, Ramp, Salesforce i inne firmy, ale sama lista nie pokazuje, jak model radzi sobie w codziennej pracy.

Dla zespołów IT liczy się też to, że rodzina obejmuje różne budżety pamięci i mocy obliczeniowej. Lokalny model może ograniczyć wysyłanie poufnych zadań do chmury, lecz bezpieczeństwo nadal zależy od konfiguracji urządzeń, uprawnień i aktualizacji.

Porównania wydajności opierają się głównie na danych Nvidii

Firma deklaruje nawet pięciokrotnie szybsze działanie niż inne modele w tej klasie i przytacza wyniki benchmarków. TechCrunch zauważa, że takie zestawienia często towarzyszą premierom modeli. Bez niezależnych testów na tych samych zadaniach, sprzęcie i ustawieniach nie da się przełożyć tych liczb na oszczędności konkretnej firmy.

„Lokalnie” nie znaczy też, że każdy komputer poradzi sobie z pełnym obciążeniem agenta. Dla Bolt 74B-A9B Nvidia wskazuje 24 GB pamięci i własny sprzęt, a mniejszy E4B ma inne, lżejsze zastosowania.

O wyniku zdecyduje praca na prawdziwych stanowiskach

Warto obserwować wyniki z wdrożeń produkcyjnych, a nie tylko z dostrajania, oraz sprawdzić, czy lokalni agenci kończą długie zadania bez częstej interwencji człowieka. W wersjach PC znaczenie będą miały kompatybilne urządzenia, szybkość i pobór energii podczas codziennej pracy.

Firmy muszą też ocenić audytowalność, zarządzanie dostępem i aktualizacje. Otwarte wagi dają większą kontrolę, ale odpowiedzialność za utrzymanie przechodzi na zespół wdrażający model.

Werdykt Lilith

Nvidia rozstawia ladę od serwerowni po biurko użytkownika. Firma może wybrać miejsce pracy agenta, ale rachunek za jego nadzór nadal płaci sama.