オープンウェイトモデルは、Base LabsとHugging Faceから独自の安全基準を受け取ります

OpenAIやAnthropicのような大規模なラボが自社モデルのために堅牢な安全ガードレールを構築する一方で、オープンウェイトのエコシステムはこれまで、この点に関して大いに即興で対応してきました。今年Basetenからスピンアウトした研究グループであるBase Labsは、Hugging FaceプラットフォームおよびスタートアップのGoodfire AIと提携することでこれを変えようとしています。オープンモデルのトレーニングと監視のための標準化された方法を開発および公開することが目標です。

セキュリティがインフラストラクチャにシフトする

オープンモデルのセキュリティテストの現状は、まるで開拓時代の西部劇のようでした。開発者は頻繁に、断片化されたツールからセキュリティチェックを急いでつなぎ合わせなければなりませんでした。新しい提携は、リスクコントロールをインフラストラクチャ（モデルがホストされ、実際に実行される場所）に直接シフトすることを目指しています。オープンソースAIの事実上の中心であるHugging Faceとの統合は、新しい標準がすぐにコミュニティ全体のデフォルトになることを意味する可能性があります。

誰がオープンウェイトエコシステムを守るのか

このパートナーシップは、オープンモデルの規制をめぐる激しい政治的議論の中で実現しました。コミュニティ主導の自主的な評価標準を作成する取り組みは、厳格なトップダウンの規制に対する防御として機能する可能性があります。さらに、Goodfire AIはニューラルネットワークの内部構造の解釈を専門としており、提携が問題の真の理解を求めていることを示しています。

規制の加速がルールを変える

AIモデルの安全性に対する圧力は世界中で高まっています。政治家や当局は、オープンソースがこれまで提供するのに苦労してきた保証を求めています。開発者がすでに使用しているプラットフォーム上に標準を作成することで、官僚的な足かせなしに真の変革のチャンスがもたらされます。

愛好家を超えた採用が決定的な要因になる

全体の取り組みの成功は、単一の指標によって測定されます。オープンウェイトモデルに基づいて商用製品を構築している企業が、それをどれだけ早く採用するかにかかっています。セキュリティ評価と監視ツールは、本番環境へのデプロイを妨げないように、使いやすく高速でなければなりません。Base Labsが別の学術論文を提供するだけであれば、市場はそれを無視するでしょう。

Lilithの判定

規制が目前に迫っており、オープンソースエコシステムは、誰かが法律で押し付ける前に独自のガードレールを迅速に構築する必要があることに気づきました。自主的な基準はパニックに対する最大の防御です。