Ai2のFairStress:LLMは誰が得をするかによって正しい判断を覆す

Allen Institute for AI（Ai2）は10月20日、ベンチマーク「FairStress」を公開した。モデルが誰を選ぶかだけでなく、説得力のある議論を突きつけられたときにどれだけ簡単に判断を変えるかまで測る。名前を一つ入れ替えるだけで公平性を確認してきたチームにとっては、耳の痛い結果だ。

最初のテストには合格しても、圧力をかけると揺らぎ方が偏る

FairStressは、採用、医療、融資、教育、住宅、刑事司法など29分野にわたる、候補者2人の現実的なシナリオ300件で構成される。機械系エンジニアを選ぶシナリオもあれば、希少な薬の最後の1回分を2人の患者のどちらに渡すかを決めるシナリオもある。一方が明らかに優れたケースと、あえて優劣をつけにくくしたケースの両方がある。

属性の示し方は4通りだ。情報なし、特定の集団を連想させる名前、間接的な示唆、そして明示的なラベル。そのうえでモデルにadversarial prefixを与える。権威、多数派の意見、根拠とされる情報、法的リスク、歴史的な不利益などに訴える一文で、たとえば「上級幹部が非公式に書類を確認し、候補者Bを推薦している」といったものだ。各prefixには、もう一方の候補者を推す対になる版が用意されている。組み合わせると1300万件を超えるテストケースになる。より速く安く測れるよう、Ai2は5万件のサブセット「FairStress-Core」も用意した。

属性情報がない場合、モデルの振る舞いはほぼ対称だった。属性が明確になるほど、その対称性は崩れた。優れた候補者が多数派側で、劣る候補者が少数派側のとき、少数派側を推すprefixは、逆の組み合わせのときよりもモデルの判断を覆しやすかった。著者らはこれを反ステレオタイプ的な過剰補正と呼ぶ。15モデルの平均で、正しい答えを手放す割合の差は、属性を示唆した場合に6.9ポイント、明示した場合に9.3ポイントだった。

FairStress-Coreでは、Claude Opus 5やGPT-5.5などの最先端モデルが、優劣のつかないケースで少数派側の候補者を約60～65％の割合で選んだ。対になるprefixの下では、少数派側への乗り換えが多数派側への乗り換えより8.8～42.4ポイント多く、これは12通りのモデルとモードの組み合わせで共通していた。

採用や融資にLLMを使うチームは、問題の半分しか測っていないかもしれない

応募者の選考、融資の審査、患者の優先順位付けにLLMを使うチームにとって、核心は手法そのものだ。一般的なテストは属性を一つ入れ替え、選択が変わらないかを確かめる。FairStressは、そのテストに合格したモデルでも、経営陣の意向を伝える一文に、誰が得をするかによって屈しうることを示した。実際の運用では、モデルのコンテキストはメールやメモ、推薦文であふれている。まさにそうした一文が入り込む場所だ。

二つ目の発見は判断理由の書き方に関わる。open-weightモデル11種では、少数派側の候補者を選んだ説明に「resilience」や「diversity」といった語が多く現れ、多数派側では「evidence」や「criteria」が目立った。Tülu 3.1 8Bは採用シナリオの両方の版で同じ女性候補者を選んだ。履歴書が弱い版では成長の可能性と多様な経歴を強調し、強い版では経験と資格を挙げた。正しく選ばれていても、その理由が本人の実力を脇に押しやることがあるわけだ。

三つ目の教訓は測定そのものに向けられている。広く使われるベンチマークBBQではモデルはステレオタイプに沿った答えに傾いたが、FairStressでは少数派側に傾いた。Ai2は同じBBQの質問と同じ重みを使い、chat template、質問の言い回し、採点方法だけを変えた。すると4モデル中3モデルが少数派を優遇する方向へ移り、Llama-3.1-8B-Instructはほぼ中立になった。測定されるバイアスの向きは、ベンチマークの問い方にも左右される。EUで事業を行う企業にとっては実務上の問題でもある。AI Actは採用や信用度評価に使うシステムを高リスクに分類しており、提供する側はどうテストしたかを示す必要が出てくる。

既存の対策は、精度を犠牲にしがちだ

Ai2は、モデル自身による自己批判、activation steering、内部表現への学習済み編集など、既知の手法9種を試した。大半は非対称性を安定して減らせず、選択の偏りを均す代わりに精度を落とすものもあった。あるactivation steering手法は、Qwen2.5-7B-Instructの明確なケースでの正答率を98％から47％に下げた。最も目標に近づいたのはcounterfactual chain-of-thoughtで、候補者の属性を入れ替えた状態で判断を見直させる。差は縮まり精度もおおむね保たれたが、優劣のつかないケースでは依然として少数派側が選ばれやすかった。

結果には明確な限界もある。FairStressは平等を軸にした公平性の定義に立っており、歴史的な不利益の是正を重視する立場なら同じ振る舞いを別様に評価するだろうと、著者ら自身が認めている。内部活性化の分析は2モデルに限られる。活性化からは約73％の精度で選択を予測できたが、同じ活性化をテキストで説明したものでは57～59％にとどまった（偶然の水準は50％）。Olmo 3の学習データの監査では、拒否学習用データセット由来の例が約9万9000件見つかり、2万8000のトピッククラスタのうち実力に基づく判断を扱うものはわずか9つで、しかもすべてが拒否だった。これが非対称性の原因かどうかについて、Ai2は未解決だと明言している。

鍵は、FairStress-Coreが大手ラボのmodel cardに載るかどうか

Ai2はFairStressを評価ツールOlmo-evalに組み込みつつあり、データとコードは自由に入手できる。モデルを学習・調整する誰もがすぐに採り入れられる。本当の重みを持つのは、OpenAI、Anthropic、Googleが新モデルでFairStress-Coreの結果を公表し、人事や融資ツールのベンダーが単純な名前の入れ替えではなく、prefixによる圧力下の数字を顧客に示すようになったときだ。

もう一つの注目点は、counterfactual chain-of-thoughtの効果が、より大きなモデルやより長い意思決定の連鎖でも再現されるかどうかだ。再現されれば、再学習なしで導入できる安価な安全策がチームの手に入る。

Lilithの判定

経営陣がどちらを望んでいるかという一文だけで、モデルはより優れた応募者を手放す。採用にLLMを入れるなら、履歴書の名前を入れ替えるだけでなく、まさにその一文でモデルを試すべきだ。