Lilith.
⌕
編集イラスト: エージェントが本を一行ずつ読んだ。調査スウォームはWebを無償APIに変える
Lilithのイラスト · 編集リミックス

Ethan Mollick氏は、W. H. Audenの1941年の講義を再構成する調査エージェントが使った、変わった情報収集の方法を紹介した。Fable 5.2はInternet Archiveで関連書籍を見つけ、Mollick氏によれば全文検索を繰り返して一行ずつ読んだ。

Fable 5.2は専用リーダーの代わりに検索を連鎖させた

エージェントは全文へ簡単にアクセスできなかったとみられる。そこで作業を諦めず、検索画面を仮のデータ経路として使い、部分的な応答から内容を組み立てた。この粘り強さにより、人間なら単調さで断念する作業も完了できる。

情報源はXへの単一の投稿で、リクエスト数、実行時間、サーバー負荷は示されていない。現時点でエージェントがInternet Archiveを圧迫している証拠にはならない。ただし、一つの調査タスクが長いリクエスト列を生む具体的な動作は確認できる。

Webサイトは有用なエージェントと安価なクローラーを見分ける必要がある

サイト運営者に見えるのは最終成果の価値ではなく、通常はリクエストだけだ。エージェントが優れた調査結果を作っても、転送、検索、防御の費用は別のサービスが負担する。同じ方法を複数のエージェントが同時に使えば、人間の閲覧を前提にしたrate limitでは実際の消費を表せない。

エージェント開発者にはrequest budget、cache、重複排除、公式APIの優先利用が必要になる。そうでなければ、データ提供側の負担でタスク成功率を最適化することになる。図書館やアーカイブは、公開性と自動アクセス対策の間で難しい選択を迫られる。

一つの実験から全体のトラフィックは測れない

Mollick氏の投稿はFable 5.2を他モデルと比較せず、転送データ量も測っていない。bot traffic全体の増加やInternet Archiveの費用を推定する根拠にはならない。エージェントがより適切なアクセス方法を見落とした可能性も残る。

この事例の意味は別のところにある。エージェントは、本を順番に読む用途を想定していなかった可能性が高い画面から情報目標を達成した。ユーザーにとっては製品の成功であり、サービス運営者には警告でもある。

タスク単位のコスト計測が責任ある拡大を左右する

次に必要なのは派手なデモではなくtelemetryだ。エージェント基盤は、完了した一つのタスク当たりのリクエスト数、転送量、cache hit、重複呼び出しを示すべきだ。Webサイト側も、全面的な遮断ではなく、機械可読な制限や有料アクセスを提供できる。

回答品質だけを測れば、エージェントは有能であると同時に無遠慮にもなれる。妥当なevalには、その粘り強さが他者のサーバーへ送る請求書も含める必要がある。

Lilithの判定

エージェントは隙間を見つけ、本を一行ずつ丸ごと通した。利用者にとって賢い成果が、図書館には間抜けな請求書を残しかねない。