Nvidia、データセンターから4GB端末までエージェント用モデルを展開

Nvidiaは10月15日、オープンモデルNemotron 3.5を発表した。1200億パラメーターのSuper VLと、ローカル実行向けの小型Bolt 2種で構成する。Super VLとBolt 74B-A9Bは提供中で、Bolt E4Bは同社によると10月23日に登場する。

Super VLは企業業務、Boltは端末上の実行を狙う

Super VLはテキスト、画像、文書、動画を扱う専門エージェント向けだ。Nvidiaは、指示への追従やtool useの精度が、パラメーター数が約5倍のNemotron 3 Ultraに匹敵すると説明している。

Bolt 74B-A9Bは2ビット量子化により24GBのメモリーに収まり、ウェブ閲覧やコードのデバッグなどをローカルで処理する設計だ。4GBを使う小型のBolt E4Bは、会話型および物理エージェントを対象にする。

企業は自社のルールに合わせてモデルを調整できる

企業向けの売りは性能だけではない。組織は自社データ、ツール、業務手順でSuper VLを追加学習し、自社インフラで運用できる。NvidiaはEY、Ramp、Salesforceなどを利用企業として挙げるが、その名前だけでは日常の本番環境での性能は分からない。

ITチームにとって、モデル群が異なるメモリーや計算資源の規模をカバーする点も意味がある。ローカルモデルは機密性の高い処理をクラウドへ送る必要を減らしうる。ただしデータの安全性と管理は、端末設定、権限、更新の運用に左右される。

性能比較はまだNvidiaの主張に大きく依存する

同社は同クラスの他モデルより最大5倍速いとし、ベンチマーク結果を示している。TechCrunchは、こうした比較がモデル発表時のマーケティングに含まれがちだと指摘する。同じタスク、ハードウェア、設定での独立検証がなければ、特定企業のコスト削減には結び付けられない。

また「ローカル」だからといって、どのPCでも本格的なエージェントを動かせるわけではない。Bolt 74B-A9Bには24GBメモリーと同社のハードウェアが示され、小型のE4Bはより軽い用途を担う。

実際のワークステーション運用が成否を決める

追加学習後の数字だけでなく、本番導入の結果を見る必要がある。ローカルエージェントが長いタスクを人の頻繁な介入なしに完了できるかが焦点だ。PC向けでは対応機器の入手性、速度、日常利用時の消費電力も問われる。

企業は監査可能性、アクセス管理、更新方法も評価しなければならない。オープンな重みは制御の幅を広げる一方、運用責任を導入チームに移す。

Lilithの判定

Nvidiaは売り場をサーバールームから机の上まで広げた。エージェントの居場所は企業が選べるが、監督の請求書まで消えるわけではない。