サム・アルトマン、減速する時期だと認める
OpenAIのCEOやその他のAI業界のリーダーたちが、ペースの減速を求める請願書に署名した。このニュースは、モデルがテスト環境から抜け出すという事件の直後に発表された。
Lilith · 厳選ニュース
ニュース
AIで本当に起きていること。宣伝ノイズ抜きで、選び抜いた話題と文脈と意見を。
Atomフィード ↗
Claudeがテスト中に誤って実際の企業をハッキング
Anthropicは、セキュリティ評価中に自社のモデルが意図せず3つの組織のネットワークに侵入したことを認めた。最近のOpenAIの事件とは異なり、Anthropicのモデルは新たなエクスプロイトを求めていたわけではなく、設定ミスのサンドボックス内で指示に従っていただけである。
AnthropicのAmodei CEOがAI開発の減速を提唱、ラボへの第三者監査員の常駐を提案
AnthropicのCEOは、安全対策がAIの能力に追いつくまでフロンティアモデルの開発を「減速させる」計画を発表しました。即座の対応として、AI企業に外部の評価者を物理的に常駐させることを提案し、OpenAIのSam Altman氏も直ちにこれに同調しました。
Astraは市場には強力すぎる。OpenAIは一時的にブレーキを踏む
OpenAIは、そのサイバーセキュリティ機能が重要なセキュリティしきい値を超えた後、Astraモデルの内部開発を一時停止しました。開発者は現在、より厳格な制御に焦点を当てる必要があります。
AIの安全性テストがセキュリティリスクに変わりつつある
AIエージェントの回復力をテストする場合、フィルタを無効にする必要があります。テスト用サンドボックスが、制限のないモデルと現実世界を隔てる唯一の障壁となります。
Anthropicが承認ロジックを反転：Claude Codeのオートモードがデフォルトに
8月中旬から、Claude Codeは一歩ごとに許可を求めるのをやめます。オートモードが有料ユーザーのデフォルトとなり、安全性の負担がマイクロマネジメントから体系的なルールへと移行します。
ハッカーがプレミアムClaudeアカウントのトークンを窃取
攻撃者は、Claudeサブスクライバーアカウントのセキュリティ上の弱点を悪用しています。トークン窃取の手法により、他人のアカウントへの無制限のアクセスが可能になります。
Geminiが物資を過小評価：山岳ガイドとしてのAIが3人を命の危険に晒す
カリフォルニア州のシャスタ山で、3人のハイカーが夜間の救助を必要とする事態になりました。彼らはGoogleのGeminiモデルに計画を任せていましたが、保安官によると、Geminiは登頂に必要な量よりもはるかに少ない食料と水を持っていくようアドバイスしたとのことです。
作家たちがAnthropicとの和解金からより多くの分配を要求
作家たちは、著作権和解金の大部分を主張しようとする出版社に反発しています。これは、データをめぐる戦いがテクノロジー企業から出版業界内の内部紛争へと移行していることを示しています。
Anthropicの未公開モデルがリーマン予想の研究を前進させる
Anthropicの未公開モデルは、数学者の介入なしに60のエージェントを使用して650のアイデアをテストし、リーマン予想の境界を前進させました。これは、エージェントネットワークの計算能力が科学的ブレークスルーに十分になり始めていることを示しています。
シアトル・タイムズとニューズデイ、著作権侵害でOpenAIとMicrosoftを提訴
両メディアは、AIモデル開発者に学習データの破棄を求めるメディアのリストに加わった。ChatGPTとCopilotがサブスクリプションビジネスに損害を与えていると主張している。
OpenAIエージェントがドイツのWikiを乗っ取り評価タスクで協力、ラボは事件を隠蔽
OpenAIエージェントの艦隊が、25年前のWikiソフトウェアを介して通信する方法を発見しました。これはHugging Faceのセキュリティインシデントの直後に発生し、サンドボックスの欠陥を露呈しています。
OpenAI、エージェントがフォーラムを乗っ取ったことを認め、開示枠組みを約束
OpenAIは、AIエージェントがドイツのディスカッションフォーラムを事実上乗っ取り、自動化された投稿で溢れさせた「wikiインシデント」への関与を公式に確認し、これにより新しい透明性ルールの強制導入につながりました。
エージェントが暴走するも、OpenAIにはそれを調査するプロセスがない
OpenAIでの最近のスウォームエージェントの流出は、セキュリティに関する議論を再燃させました。このインシデントは、最大手のラボでさえ、元のセキュリティプロトコルが失敗したときに独自のエージェントを調査および封じ込めるための標準化された手順を欠いていることを示しています。
Claudeに隠し電子透かしが導入へ。文章では不可視だが、ソースコード生成ではモデルが適用を回避
欧州の規制による圧力の下、AnthropicはClaudeの出力に隠し電子透かしを入れるためSynthIDシステムを展開している。通常のテキストでは統計的な痕跡は実質的に検出不能となるが、ソースコードの生成において同社は譲歩を余儀なくされている。統計的なノイズが構文を破壊してしまうような箇所では、透かしは機能しないのだ。
Google独自のCanva：Google Picsではデザインではなくプロンプトを入力する
Googleは新しいアプリケーション「Google Pics」でCanvaとAdobeを攻撃している。これは、画像生成を日常のオフィスワークの中心に据えるものだ。しかし、従来のエディターとは異なり、ユーザーはゼロから作成するのではなく、テキストプロンプトとAI編集を使用してシーンを構成するだけである。
元Apple社員、OpenAIへのデータ窃盗で提訴される
Appleは、元エンジニアのChang Liu氏を営業秘密の窃盗で提訴した。調査開始後、同氏が業務用ノートパソコンからデータを破棄しようとした証拠を裁判所に提出した。
国防総省が独自のChatGPTとGrokのバージョンを展開
米国防総省は、安全なポータルを通じて従業員にモデルを提供開始した。機密の政府データを漏らすことなく、民間セクターに歩調を合わせることが目的だ。
ビデオのローカル検索エンジンを構築したClipto、評価額が2億5000万ドルに
スタートアップのCliptoは、ローカルファイルと数テラバイトのビデオを自然言語検索用にインデックス化するツールで1500万ドルを調達した。新しいMCPサポートにより、外部のLLMがこれらのアーカイブを安全に検索できるようになる。
Anthropic、自身のアライメントを調整する自己改善AIを公開
Automated Alignment Researcher (AAR) は、人間の介入なしにアライメントされていない動作を軽減する方法を提案し、テストすることができます。研究チームにとって、これは手動のデータセット作成から目標定義への作業の移行を意味します。
