Terminal X、投資判断を数値化　GPT-6.1 Solの評価エージェントがシニアと88.6%一致

スタートアップのTerminal Xは、投資会社のトップ人材の判断力を社内にとどめるためのエージェントを構築している。OpenAIのブログに掲載された導入事例によると、GPT-6.1 Sol上で動く同社のEval Agentは、500件の評価のうち88.6%でシニアの人間評価者と同じ判断を下した。次点のモデルは86.4%だった。

Terminal Xはファンドの意思決定を数百のエージェントと一つの評価役に分解する

Terminal Xはこの問題を「memory debt」と呼ぶ。シニア投資家が辞めると、会社に文書は残るが、その背後にあった思考は失われる。そこで同社は、JPMorganやBlackstone出身のforward-deployedエンジニアを顧客企業に送り込む。彼らは数週間にわたり投資チームと机を並べ、評価の高いメモを分解し、誰も書き残してこなかった手順を文章にする。たとえばクレジットチームが借り手をどう審査するか、といったことだ。

そこから資産クラスや戦略ごとに数百のエージェントが作られる。GPT-6.1 Solは、判断力と長いコンテキストが必要な工程を担う。投資テーゼの統合、主要リスクの洗い出し、ファンドのマンデートとの適合性の評価だ。より安価なGPT-6 Lunaは大量処理の工程を受け持つ。エージェントは顧客のプライベートなデータルーム内で、オンプレミスまたは顧客自身のクラウド上で動き、英語、韓国語、日本語、中国語の文書を読む。

出力はEval Agentが54項目のルーブリックで確認する。数字や出典は正しいか、論理は通っているか、推奨はハウスビューと合っているか。不合格の判定には一行の理由と修正案が付き、新しい指示やテストケースとして保存される。GPT-6.1 Solを使った評価役は、マンデートからの逸脱を約25%多く検出し、同社によれば次点のモデルよりクエリ当たりのコストが約30%低かった。

ファンドにとって価値があるのは一致率より監査証跡だ

88.6%という数字は「AIがシニアのように投資する」と読まれやすい。しかし実際に測っているのはもっと狭い範囲で、評価エージェントがシニア評価者と同じ判定を出した頻度だ。それでも意味はある。エージェントがなぜそのメモを通し、どの出典を使ったのかを示せるファンドは、投資家やコンプライアンス部門が求める記録を手にすることになる。

もう一つの側面はビジネスだ。Terminal Xが売っているのはモデルそのものより、書き残されていない経験を会社が所有するデータに変える仕組みである。これはジュニアアナリストの仕事も変える。彼らの修正一つひとつが、システムが学ぶシグナルになるからだ。ファンドは個人の退職に左右されにくくなる一方、自社のMemoryを最新に保つベンダーが必要になる。

数字はベンダー発で、次点のモデル名は伏せられたまま

これはOpenAIが公開した導入事例であり、両社にとって利害のある文章だ。数字はすべて社内データで、500件の評価、220ベーシスポイントの差、ある1社のプライベートエクイティファームでの年間240万ドルの削減などが並ぶ。次点のモデルが何か、何人のシニアが評価したのか、事例をどう選んだのかは書かれていない。そもそも評価者との一致は、推奨された案件が利益を生んだかどうかを何も示さない。

バイアウトファンドが突然ディストレスト債を推し始めるようなマンデートからの逸脱は、金曜の夜に人間が見落としがちな誤りそのものだ。エージェントがそれをより多く拾うのは良いことだ。だが、エージェントと人間の判断が分かれた残り11.4%のケースについて、事例は分析していない。その食い違いでどちらが正しかったのかは分からない。

本当の試金石は最初のパートナーが去るときに来る

Terminal Xは、1,700件の企業Memory、100万件を超えるカスタムworkflow、月間アクティブユーザーの81%に相当する週間アクティブユーザーを挙げている。次の段階は、チーム単位ではなく投資家一人ひとりのMemoryだという。本当の試験は、システムが判断を残すはずだった人物が顧客ファンドを去り、後任がエージェントと自分のメモのどちらを信じるかを決めなければならなくなったときに訪れる。

より説得力があるのは独立したデータだ。複数の評価者との一致率、判断が分かれたケースの分析、名前を明かしたモデルとの比較である。それがない限り、88.6%は営業資料に載った興味深い数字にとどまる。

Lilithの判定

去っていくパートナーは写真の入った段ボール箱を抱えてオフィスを出る。Terminal Xは、その判断力はファンドのサーバーに残ると約束する。だが今のところ、それを測ったのは500件を見た一つの評価役だけで、11.4%の食い違いについては誰も語っていない。