アリバイとしての全面ブロック：Hugging Face、AIの安全性における失敗を分析

Hugging Faceの事件は、セーフティ・フィルターの鈍さを浮き彫りにした

Hugging Faceを標的とした最近のサイバー攻撃は、不都合なテーマを開くきっかけとなりました。現在の「AIアライメント」システムやセーフティ・フィルターは極めて不器用です。文脈（例えば、爆弾の作り方の指示と第二次世界大戦に関する歴史的なテキストの違い）を区別する代わりに、システムはトピック全体に全面的な拒否を適用します。プラットフォームは、悪評のリスクを冒すよりも、武器、健康、政治に関する議論を一切ブロックする方を選びます。

アプリ開発者にとって、これはユーザー体験の制御を失うことを意味する

企業チームが商用APIや厳重に検閲されたオープンウェイトモデルに依存する場合、何が受け入れられ、何が受け入れられないかのコントロールをモデル提供者に引き渡すことになります。アプリユーザーがセーフティ・トリガーを作動させるキーワードを含む無邪気な質問をすると、モデルは一般的な謝罪で応答します。これはアプリの使い勝手を破壊します。開発者には、会話全体をブロックするのではなく、適切なコンテキストを拒否する粒度が求められています。

商用モデルは実用性ではなくPRに最適化している

この安全へのアプローチは、主要なAIラボの動機を明らかにしています。厳格なフィルターの目的は、エンドユーザーをトラウマになるようなコンテンツから保護することではなく、悪意のあるコードの生成に関連する新聞の見出しから企業を保護することです。そのため、安全性（「セーフティ」）はPR危機に対する盾となる一方で、本当のセキュリティリスク（トレーニングデータの漏洩やインフラストラクチャにおけるコード実行の脆弱性など）はしばしば対処されないまま放置されます。

ユーザー定義フィルターへの圧力は、導入を決定づけるだろう

モデル提供者（およびHugging Faceのようなプラットフォーム）が、開発者がブロックしたい動作とそうでない動作を定義できるようにする、フィルターに対する詳細な制御を提供し始めるかどうかに注目してください。その証拠は、より安全なAIについての声明ではなく、単一のブラックボックスの代わりに、フィルターの感度レベルの切り替えを提供するAPIドキュメントとなるでしょう。

Lilithの判定

企業は安全性を弁護士への恐怖と混同しています。スタートアップ企業が、巨大モデルが過敏な検閲によって自社の製品を破壊していることに腹を立て始めると、オープンソースソリューションへの真のエクソダスが起こるでしょう。