Sullivan & Cromwell、独自の先例で契約書を読むAIを構築

Sullivan & CromwellはOpenAIと共同で、契約書案を審査する社内向けAgreement Analyzerを開発した。ChatGPT Enterpriseに、事務所が選んだ先例、交渉方針、市場慣行の情報を組み合わせる。

Codexの試作版が複数の弁護士向け審査工程になった

パートナーのJohn Savvaは、まずCodexで単独ユーザー向けの概念実証を作った。その後、OpenAIのエンジニアが出力品質の改善、分析の並列処理、複数ユーザーへの展開を支援した。

弁護士は契約書案、選択した先例、事務所と依頼人の方針を記したplaybookを入力する。システムは複数回の審査を行い、メモと変更履歴付きの修正案を返す。採用、修正、却下を決めるのは弁護士だ。

競争力の源泉は事務所の判断をコード化したことにある

汎用chatbotでも条項の要約はできる。Agreement Analyzerが狙うのは、特定の事務所がリスクをどう配分し、どの差異を重要と見なし、交渉で何を求めるかという基準との照合だ。ここでは文章を生成する画面より、先例とplaybookの方が価値を持つ。

法律事務所にとって、これは内部知識の扱いを変える。パートナーの経験を本人の頭や過去文書のフォルダーだけに閉じ込めず、より広いチームが使える工程にできる。一方、最終判断の責任は弁護士に残る。

根拠を追える設計は良いが、精度の指標はない

専門agentが結論を作り、別のagentがそれを反論する。出力は、反論を経ても残った指摘、却下された指摘、留保付きで残した未検証の論点を区別する。一つの自信満々な回答より堅実な設計だ。

ただし公開情報には、精度、見落とし率、独立評価の結果がない。Savvaも短期的な効果を、作業時間の短縮ではなく、限られた時間内でより徹底した分析ができることだと説明している。生産性の根拠は今のところ、時間削減ではなく検討範囲の広さにある。

却下された修正案と監査記録が価値を決める

各提案について、弁護士が先例、説明、反論を通過した理由までたどれるかが重要になる。人が却下した提案の割合と、システムが見落とした重大な論点も測るべきだ。

Sullivan & Cromwellがこうしたデータを蓄積すれば、Agreement Analyzerは事務所の組織的な記憶を改善できる。フィードバックがなければ、弁護士が法的な意味を確認する速度を上回って、整った修正案を量産するだけになる。

Lilithの判定

Sullivan & Cromwellは弁護士の横に、裏付け済み、却下済み、未検証という3つの書類の山を置いた。価値が決まるのは、署名前にパートナーが正しい山へ手を伸ばせるかどうかだ。