Anthropicからの実存的リスクによる流出が選好カスケードを引き起こす

AIのリスクについて公に警告したAnthropicの研究者ジェイコブ・コクソンの辞任は、主要ラボ内の沈黙を破りました。Anthropicのアライメント・サイエンス・リードであるエヴァン・ヒュービンガーはその後、同ラボがスーパーインテリジェンスを安全にアライメントする計画をまだ持っていないことを確認し、10年以内の人類絶滅リスクを個人的に10%以上と見積もっています。OpenAIやGoogle DeepMindの研究者たちも、公に、あるいは微妙なヒントを通じてこの姿勢に加わり始めています。

顧客は終末論的なインフラ上にシステムを構築している

この連鎖的な反応は、マーケティングとラボの内部文化との間の溝を明らかにしています。外部に向けてはAnthropicとOpenAIが生産性向上のためのエンタープライズツールを販売している一方で、これらのシステムを構築している主要なエンジニアたちは、自社製品がすぐに全員を殺すかもしれないと確信しています。企業バイヤーや規制当局にとって、これは方程式を変えるものです。彼らは安定したソフトウェアベンダーへの依存を構築しているのではなく、自分たちの創造物の長期的な安全性を信じていないチームへの依存を構築しているのです。

内部でのパニックは計算サーバーを止めない

破滅を恐れる人々の割合は高いものの、ラボ自体はこれまで以上に大規模なモデルのトレーニングを続け、数十億の投資を集めています。警告は商業戦略を決定するリーダーシップからではなく、アライメント研究チームから発せられています。

スーパーインテリジェンスへの恐怖はデータの壁にぶつかるかもしれない

現在の脅威は現在の開発ペースを外挿することに由来していますが、モデルが合成データの限界に達した場合、それは間違いであることが証明される可能性があります。

中核エンジニアの流出が本当のシグナルになる

真の指標は恐怖に満ちたツイートの数ではなく、中核となるトレーニングチームのエンジニアが退職を決意するかどうかです。ラボがモデルをスケールアップできる人材を失い始めれば、内部の不信感が、リスクを探すために給与を支払われているチームだけでなく、生産能力を直撃したという明確なシグナルとなるでしょう。

Lilithの判定

取締役会ではもはやSLAについては議論されておらず、クラウドプロバイダーが誤って文明を削除してしまうのではないかが話し合われています。世界を変えると言うことはもはや傲慢ではなく、避難用バッグを詰めながらそう主張することが傲慢なのです。