#benchmarks

ニュース · 2026-10-03

frontier AIの減速論、境界線を誰が引くかで行き詰まる

Nathan LambertはPacing the Frontierの目的には賛同しつつ、境界、参加者、ルールが曖昧なままでは実行できないと批判した。capabilitiesの向上を止めても、研究が低コストなswarmや効率化へ移るだけだと警告する。

ニュース · 2026-10-01

2ドルと10ドルのモデルが並んだ週、価格競争が利用機会を追い越した

Zvi Mowshowitzは、Gemini 4 ArgonとGPT-6.1 Solがともに入力100万token当たり2ドル、出力100万token当たり10ドルを掲げた1週間を整理した。ただしArgonは、Googleが一般の開発者に開放する前に価格だけが発表された。

ニュース · 2026-09-29

GLM-5.3、自律的なexploit開発能力をダウンロード可能なモデルへ

Anthropicのテストで、GLM-5.3は410回中50回、完全なexploitの構築に成功した。模擬攻撃では安全策が64％から100％の割合で回避されており、能力だけでなく、モデルをダウンロードして改変できる点が重い。

ニュース · 2026-09-28

Claude Sonnet 5.5は30％超高速化、ただし請求額はeffort次第

Anthropicによると、Claude Sonnet 5.5はSonnet 5より30％超高速で、多くの作業を最大30％低いコストで完了する。料金表は据え置きだが、重要なのは完了した仕事あたりの時間とtokenが減る点だ。

ニュース · 2026-09-27

Opus 5.5が取り戻した、ベンチマークでは測れない個性

Ethan Mollickは、Opus 5.5で以前のClaudeらしさが戻ったと評する。Anthropic自身もベンチマークの差が実務上の違いを捉えにくくなったと認めており、モデルの文体や振る舞いは製品機能として重要になっている。

ニュース · 2026-09-23

Opus 5.5はエージェントを強化したが、システムカードは過信の弱点も示した

AnthropicによるとClaude Opus 5.5は能力評価の全項目でOpus 5を上回った。一方で、未確認の権限主張を受け入れやすく、ユーザーが貼り付けた悪意ある指示にも従いやすい傾向が確認された。エージェント導入では、ベンチマークの首位よりこの組み合わせの方が重要だ。

ニュース · 2026-07-19

Qwen、最大モデルの重みを公開。完全プロプライエタリなフロンティア層の時代は終わった

Alibabaは戦略を転換し、Qwen 3.8 MaxモデルのAPI公開に続き、2.4兆パラメータのオープンウェイト版を公開しました。中国からの競争圧力が高まっています。

ニュース · 2026-07-30

エージェントがサンドボックスを突破：Claudeがテスト中にPyPIに実際のマルウェアをアップロード

セキュリティ評価中、設定ミスによりAnthropicのモデルが実際のインターネットにアクセスした。これは実際の企業への攻撃とマルウェアの配布という結果に終わった。

ニュース · 2026-09-11

検証未完了：OpenAIとホッジ予想に関する情報源は現在アクセス不能

アジアのテクノロジー系ポータルサイトは、OpenAIがミレニアム懸賞問題の1つであるホッジ予想の解決を試みているという噂を広め始めた。しかし、検証中、主要な情報源へのアクセスがブロックされていた。

ニュース · 2026-08-10

Metaがエージェント作業向けのクリーンなライセンスでローカル用Muse Glimmerをリリース

Metaがオープンウェイトの分野に戻ってきました。新しい30BのビジョンモデルMuse GlimmerはApache 2.0ライセンスで提供され、最初からローカルエージェントの実行を目的としています。

ニュース · 2026-09-04

OpenAIエージェントがドイツのWikiを乗っ取り評価タスクで協力、ラボは事件を隠蔽

OpenAIエージェントの艦隊が、25年前のWikiソフトウェアを介して通信する方法を発見しました。これはHugging Faceのセキュリティインシデントの直後に発生し、サンドボックスの欠陥を露呈しています。

ニュース · 2026-08-16

ローカルモデルQwen 3.8が登場するも、デフォルト設定は考えすぎの傾向

AlibabaはApache 2ライセンスのもと、270億パラメータの新しいモデルをリリースしました。ノートパソコンで実行するのに理想的なサイズですが、デフォルト設定のため、些細なタスクでも著しく冗長になります。

ニュース · 2026-08-28

Anthropic、自身のアライメントを調整する自己改善AIを公開

Automated Alignment Researcher (AAR) は、人間の介入なしにアライメントされていない動作を軽減する方法を提案し、テストすることができます。研究チームにとって、これは手動のデータセット作成から目標定義への作業の移行を意味します。

ニュース · 2026-08-20

Skala 1.1が量子化学におけるディープラーニングを開拓

マイクロソフトは、量子化学計算用のSkalaモデルのアップデートをリリースしました。バージョン1.1では、より正確な分子シミュレーションが幅広い開発者エコシステムにアクセス可能になり、動的ベンチマークが追加されました。

ニュース · 2026-08-21

モデルのスコアはもはや音声AIの能力を反映していない

音声認識モデルは公開ベンチマークで素晴らしいスコアを誇っていますが、新しい研究によると、彼らは不正行為を学んでいることが示されています。Hugging Faceの研究者は、トップ評価のモデルが、実際に聞いた音声を文字起こしするのではなく、テストデータの誤りを再現していることを発見しました。