Lilith.
⌕
編集イラスト: GoogleのGemini Decision 1、大規模modelが過剰な高速判断を狙う
Lilithのイラスト · 編集リミックス

Googleは、yesかno、選択式、rubric評価に特化したGemini Decision 1でdecision model市場に参入した。Latent Spaceのまとめによると、text、画像、音声、動画、PDFを入力でき、1回のrequestで最大1,000問を処理し、各回答にconfidence scoreを付ける。

Decision 1は長文を生成せず1回の処理で選択肢を採点する

modelは閉じた回答集合を扱い、最大255個の選択肢を評価できる。contextは256K、end-to-end latencyは150から250 msとされる。料金は入力100万token当たり0.10ドルで、出力料金は0ドルだ。

これにより、文章ではなく確実な選択が必要なtaskの採算が変わる。ticketの振り分け、toolの選択、文書の採点、人へのescalation判断などだ。Latent SpaceはLangChainの対応と、粗いpromptから約5秒で複数画面のproduct flowを作るStitchの実験も紹介している。

高速な分岐役と高価な診断役を分けると節約効果が大きい

AI EngineerでCloudflareは、decision modelがtool選択と関連logの抽出を行い、大規模reasoning modelが診断だけを担当するhybrid構成を示した。紹介されたscenarioでは、LLM callが6回から1回へ、token消費が約40Kから1.8Kへ減った。

product teamにとって、これはchat modelを丸ごと交換するより実用的な考え方だ。agent workflowには小さく範囲の限られた判断が多数あり、本当に生成的reasoningを要する問題は少数しかない。特化modelは前者のcostとlatencyを削れる。

安いtoken単価だけではtask全体の割高感を隠せない

GoogleはFlash-Liteより約5倍安い入力価格を掲げるが、Latent Spaceが引用した比較は単純ではない。Artificial AnalysisのDecision IndexでDecision 1は66点となり、Jev 1.14とElephant 9Bに並んだ一方、Drex Max v1.1とGLiDE v1.2より7点低かった。

同評価の換算では100万task当たり345ドルで、Drex Maxは103ドル、Jevは156ドルだった。平均latencyも211 msで、Jevの92 msより遅い。特定benchmarkの結果であり普遍的な順位ではないが、token単価だけでは足りないことを示す。

公開leaderboardより自社のerror matrixが先に答えを出す

teamは自社dataで、誤った承認、不要な拒否、confidenceのcalibrationを測る必要がある。ticket routingなら、安い誤りは1件を別のqueueへ送るだけかもしれない。決済停止やsecurity対応では、同じ誤りが数千回のinferenceより高くつく。

data分布が変わったときの挙動と、不確実さを示せるかも重要だ。誤りの価格を把握し、人または強いmodelへ渡すthresholdを決めて初めて、decision modelをcritical pathに置ける。

Lilithの判定

Decision modelの役目は分岐器を動かすことで、列車全体を運転することではない。安くても誤った案件を別の線路へ送れば、100万token当たり0.10ドルという価格は何の慰めにもならない。