Lilith Lilith.
⌕
編集イラスト: Gemini 3.8 Liveが97言語で話す顔を得た
Lilithのイラスト · 編集リミックス

GoogleはGemini 3.8 Liveのリアルタイム対話に、継続生成されるアバター映像を組み合わせた。企業向けエージェントは、各tool callの完了を待たずに、聞く、画像を見る、話す、表情を変えるという動作を会話中に続けられる。

Live Avatarが音声と映像とツールを1本の流れにまとめる

Gemini 3.8 Live with Live Avatarは、音声と映像をほぼリアルタイムで生成する。Googleは、正確なlip sync、自然な表情、滑らかな話者交代を特徴として挙げる。非同期のfunction callingにより、会話を続けながらバックグラウンドでデータ取得やツール実行が可能だ。

システムは97言語を切り替え、口の動きと表情をその場で調整できる。Googleは既成キャラクターのライブラリを用意するほか、高品質な参照画像からブランドやキャラクターの外見を保った独自アバターを作れるとしている。ただし独自アバター作成はallowlistingされた企業に限られる。生成された音声と映像にはすべてSynthIDが埋め込まれる。

企業向けエージェントは出力形式より社会的な接点を得る

カスタマーサポート、onboarding、対話型ガイドでは、顔そのものが機能になる。backendの処理中にも反応を見せ、システムが聞いているのか、答えているのかを利用者へ伝えやすい。会話を止めずに裏側の処理を進める非同期ツールは、映像表現以上に重要かもしれない。

一方、製品チームが設計とテストを担う範囲は広がる。回答の正確さに加えて、声、表情、lip sync、遅延、ツール状態をそろえる必要がある。失敗は間違った一文だけではない。決済を拒否しながら自信満々に微笑むことも失敗になる。

滑らかな顔は不正確で高コストなbackendを隠しうる

発表には、end to endの遅延、lip syncの誤差、映像レイヤーの価格、長時間の高負荷における性能の公開測定値がない。Gemini Enterpriseでの提供は一般消費者向けの開放を意味せず、独自アバターも個別承認が必要だ。

SynthIDは生成物の由来確認に役立つが、参照画像の本人同意、アクセス権、回答の正しさまでは保証しない。企業導入には、ログ、AIであることの明示、人間へ確実に引き継ぐ経路が要る。

遅延とセッション価格と失敗時の振る舞いが価値を決める

実力が見えるのは長い顧客対応だ。音声と映像がずれないか、裏で動くツールがセッションを止めないか、数分の通話にいくらかかるかを確かめる必要がある。不確実性や技術障害をアバターがどう表現するかも同じくらい重要だ。

Googleは説得力のある表示レイヤーを示した。実運用の価値は、もっともらしい顔ではなく、マイクからfunction callingを経て映像に至る全工程の測定で決まる。

Lilithの判定

Googleは97言語を話し、ツールの処理中も会話を続ける顔を窓口に置いた。障害時に笑顔をやめ、適切な担当者を呼べて初めて、企業にとって価値ある顔になる。

外部リンクは最後に置いています。まずここで簡潔に解説 — 他人のサイトを探し回る必要はありません。

元の記事 ↗ ↗