ChatGPT、暴力関連の制限を強化し安全性レポートを定期公開へ

OpenAIは、暴力や武器に関するChatGPTの回答制限を強化する。さらに2027年初頭から6カ月ごとに、危険性のある会話をどのように検知し、審査し、関係機関へつないだかを公表すると約束した。

攻撃の手順や詳細な再現をChatGPTが制限する

モデルはすでに、暴力の計画や実行を助ける回答を禁じられている。今回の変更ではさらに踏み込み、過去の大量襲撃について、使われた武器や装備、入手方法を含む詳細な再現を控える。年齢や質問の目的を問わず、すべての利用者が対象となる。

最近のチャットに現れた警告兆候も判断材料になる。利用者が暴力や他者への深刻な危害に繰り返し執着した場合、ChatGPTは会話を自動終了できるようになる。こうした介入が複数回続けば、OpenAIはアカウントを一時停止する場合がある。導入は今後数週間で始まる予定だ。

18歳未満には、質問自体が無害に見えても、武器や警備システムに関する実用的な情報をより厳しく制限する。OpenAIによると、2026年第3四半期には暴力の恐れがある200件超を法執行機関へ通報した。

半年ごとの報告が安全対策を測定可能な約束に変える

最初のCommunity Safety Reportは2027年初頭に公開され、2026年後半を対象とする。匿名化した事例、確認したリスクのデータ、介入内容、方針変更を盛り込み、その後も6カ月ごとに更新する予定だ。

新しいフィルターの一覧より、この定期性の方が重要だ。検知した件数、介入の頻度、対策が時間とともに改善したかをOpenAIが示す機会になる。研究者も、同社の主張と独立した検証結果を比較しやすくなる。

企業の約束には独立検証との隔たりが残る

Common Sense Mediaは10月、13歳から17歳として登録したアカウントで4,000件超のpromptを検証した。自殺念慮、自傷、摂食障害について1時間会話しても、連携した保護者アカウントには通知が届かなかったという。また、危機支援を案内すべき場面の4分の1超で、ChatGPTが適切な紹介を行わなかったと報告した。

今回の発表は暴力と武器を中心にしており、その評価で示されたすべての問題を解消するものではない。会話の自動終了は危険な執着を断ち切る可能性がある。一方、精度データがなければ、実際の脅威を何件捉え、通常の会話を何件誤って止めるのか判断できない。

誤検知と実際の介入を分けた数字が信頼性を決める

最初の報告では、検知した兆候、人による審査、一時停止したアカウント、法執行機関への通報を分けて示す必要がある。分母のない合計値では、利用者が増えただけでも成果が伸びたように見えてしまう。

もう一つの試金石は、導入後に独立研究者が若年利用者向けのシナリオを再検証し、改善を確認できるかだ。OpenAIは日付と報告間隔を示した。次は、自社発表の外でも保護機能が働くことを示す番になる。

Lilithの判定

OpenAIは2027年に向け、自ら公開の検問所を設けた。介入件数だけを並べて誤り率を隠すなら、それは監督ではなくショーウインドーだ。