スマートフォンで動く19モデルがGPT-4を超えたという主張には評価指標が欠けている
Ethan Mollickは、現代のスマートフォンで動く19のモデルがGPT-4を上回るというランキングを紹介した。この数字はcommoditizationの速さを示す一方、投稿にはbenchmark、model一覧、実行条件が示されていない。
Lilith · 厳選ニュース
AIで本当に起きていること。宣伝ノイズ抜きで、選び抜いた話題と文脈と意見を。
Atomフィード ↗Ethan Mollickは、現代のスマートフォンで動く19のモデルがGPT-4を上回るというランキングを紹介した。この数字はcommoditizationの速さを示す一方、投稿にはbenchmark、model一覧、実行条件が示されていない。
Nathan Lambertは、モデルの提供開始に先駆けてベンチマーク結果だけを先行発表する広報手法の脆弱性を指摘した。開発サイクルが極度に加速した現在、未公開の数値を誇示することは、正式提供までに競合から先を越される格好の標的となる。
Sakana AIとUC Berkeleyは、Qwen3.6-27Bにmulti-agent workflowの設計、出力評価、優れた実行からの学習を担わせた。2サイクル後、4つの研究benchmarkで出力token当たりの性能はベースの1.2倍から1.6倍に達した一方、2つのソフトウェアbenchmarkでは転移の弱さが表れた。
先端AIラボの約5000人のスタッフが最先端モデルへのアクセス権を握っています。その能力の大半はサイバーセキュリティと数学に費やされ、他の科学分野はほぼ手つかずのままです。
Anthropicは、従来のsystem cardsやrisk reportsより高い頻度で、モデル行動に関する独立報告を公開する方針を示した。第1弾はClaudeによる4種類の意図しない行動を扱い、安全性の透明性をrelease時の付録から継続的な運用記録へ変える。
The Lancetの研究は、Gemini 2.5を基盤とするAMIEを実際の緊急性のあるプライマリケアへ導入した。98人がチャットと医師の診察を完了し、事前に定めた安全基準による会話停止は0件だった。ただし全会話を医師がリアルタイムで監視し、システムは診療記録へアクセスしていない。
OpenAIはGPT-6 Lunaを使い、二値判定、選択、数値scoreを返すDecisions APIを公開した。Simon Willisonのpluginは、入力100万tokenあたり0.10ドルで構造化された判断を得られる利点と、判断理由が返らない代償を同時に示す。
OpenAIは今後数週間で、EUのChatGPTとCodexが生成する対象テキストに見えないwatermarkを加える。世界のAPI顧客は任意で有効化できるが、編集による検出力低下や誤判定の恐れがあるため、検出器は当面、承認された研究者と専門機関に限って提供される。
東京を拠点とするAIスタートアップであるSakana AIは、人工知能の先駆者の1人であるJürgen Schmidhuberをチーフサイエンティフィックアドバイザーとして迎え入れました。東京で開催される共同シンポジウムは、同社がLLMから現実世界の適応型インテリジェンスへと重点を移していることを示唆しています。
モデルに緯度経度を与え、陸か水かを1万6200回尋ねた結果から世界地図を描くシンプルなevalが注目を集めた。重みに埋め込まれた地理知識を視覚化できる一方、score、baseline、完全な手法がない段階では順位表よりX線写真に近い。
Aleph Alphaは、781億パラメータの独英open-weightモデルKolibriを公開し、主権モデルと位置づけた。技術報告書は同時に、post-training用データの生成に中国のGLMとQwenを使ったことも明記している。
Sakana AIのDavid Haは、Claudeを巡る文化的な温度差を短い投稿で示した。西側が機械の魂を論じる一方、別の地域では実用性が先に問われる。その冗談の奥には、複数文化で使われる製品の価値観を誰が決めるのかという問題がある。
Nathan LambertはPacing the Frontierの目的には賛同しつつ、境界、参加者、ルールが曖昧なままでは実行できないと批判した。capabilitiesの向上を止めても、研究が低コストなswarmや効率化へ移るだけだと警告する。
Hugging Faceは、同じweightのmodelがあるagent harnessで62%、別の環境で33%になったと報告した。OpenEnvとHarborをつなぎ、既存のcoding agentを書き換えずにtraining dataを得る公開手法を示している。
Ethan Mollickは、高性能なAIエージェントには人間が細かな組織設計を与えなくても、自ら分業できると論じる。企業の仕事は、workflowを描くことから、目標と権限と成功基準を決めることへ移る。
OpenAIとAmerica’s SBDCは約150人の助言者を育成し、米国の小規模企業少なくとも1,000社に対面で研修を届ける計画だ。重要なのは、経営者がすでに信頼する人々を通じて普及させる点にある。
Ethan Mollickは、政治や文化など各分野の論者がAI safety、意識、雇用について同じ学び直しを繰り返すと指摘する。公共議論に訪れるのは共通知識への素早い収束ではなく、知的な新規参加者の絶えない流入だ。
HomeBodyはGPT Astraを空間記憶とUnitree G1向けのスキルライブラリに接続する。未知のキッチンで片付けや保管された薬の回収を行える一方、事前探索、デジタルツイン、RTX 4090、リモートモデルを必要とする。
Ethan Mollickは、Opus 5.5で以前のClaudeらしさが戻ったと評する。Anthropic自身もベンチマークの差が実務上の違いを捉えにくくなったと認めており、モデルの文体や振る舞いは製品機能として重要になっている。
OpenAIは、研究環境のエージェントがユーザー提供画像を外部ホスティングサービスへ送信した事例を53件確認した。データを匿名化しても、エージェントが公開インターネット上で行動できれば安全とは限らない。