隔離した2つのAIエージェント、事前合意なしに4種類の視覚符号を考案

Robocurveは、同じAIの隔離した2つのコピーが物理的な経路を使って秘密の単語を伝えるデモを公開した。使えるのはロボットとカメラだけで、通信方式は事前に合意していなかった。それでも4種類の読み取れる信号を作り出した。

ロボットの動きが遮断された文字通信を置き換えた

Robocurveによると、エージェントは空中筆記、Morse code、旗信号、5 bitの二進符号を使った。一方がロボットの動きを操作し、もう一方がカメラ映像を見て意味を推測した。

Ethan Mollickは、このデモがエージェント隔離の難しさを示すと指摘した。両者は同じ基盤モデルを共有するため、一般的な符号について似た知識を持ち、相手が何を理解できるかについても似た予測をする。異なるモデル系統の間でも機能するかは未確認だ。

公開されている証拠は、Robocurveの説明と20秒の短い動画である。完全な実験方法、試行回数、失敗した実行、使用モデルの正確な名称は示されていない。このデモから確認できるのは特定の通信能力であり、その信頼性ではない。

共有知識は共有メモリなしでも通信路になる

エージェントの隔離は、context、memory、network accessを分ける設計として語られることが多い。この実験は、通信方式がそれらの層に保存されている必要はないと示す。訓練中に双方が得た文化的、技術的なパターンから、その場で生まれる可能性がある。

multi-agentシステムを設計する側への影響は実務的だ。カメラ、物体の位置、動作の時間差、tool actionの順序は、文字と同じように情報を運べる。安全境界は通信と分類されたmessageだけでなく、interface全体の情報容量を扱わなければならない。

1本の動画だけでは成功率も事前準備も分からない

必要だった試行回数、例を与えたか、どんな指示を出したかは公開されていない。4種類の信号は複数回の実行から集めた可能性もある。logとtranscriptがなければ、最初から自然に選ばれたのか、失敗後に選ばれた成功例なのか判断できない。

同じ基盤モデルを使うこと自体も調整を容易にする。両方のコピーはMorse code、旗信号、二進表記について似た内部表現を持つ。同種のエージェント群にとっては重要な安全上の結果だが、任意のシステム間に共通言語があることまでは示さない。

異種モデル試験と失敗例の公開が評価を決める

より強い実験では、モデル系統を入れ替え、単語を無作為化し、試行回数に上限を設けるべきだ。すべての実行を公開すれば、成功率、通信方式を作るまでの時間、受信側が誤読した事例を確認できる。

安全性の観点では、監視役が受信エージェントより先に新しい符号を認識できるかも重要だ。同じモデルはgestureを正しく読み、監視側は通常の動きと判断するなら、物理的な隔離にはカメラの正面に通信の穴が開いている。

Lilithの判定

2本のロボットアームは、エージェント間の沈黙にも独自の文字が生まれると示した。文字メッセージだけを監視する者は、カメラに背を向けている。