MollickはGemini 4を最上位に置いたが、物差しは自身の仕事だ

Ethan Mollickは、公開前からGemini 4をかなり長く使い、従来のGeminiモデルに比べて大きな飛躍だと述べた。投稿では、OpenAIとAnthropic以外で初めて、自身がFable、Mythos、Astraを基準に設けた水準を超えたモデルだと評価している。

Mollickの評価は順位表ではなく実際の利用から来ている

Xへの投稿には、標準化された評価方法や正確なタスク群は記載されていない。Mollickが語っているのは全体的な使用感、従来のGeminiより快適な対話、よりagenticな挙動だ。したがって、この発言は熟練した一人の利用者による実務上の観察であり、あらゆる分野での測定可能な勝利を意味しない。

GoogleもGemini 4 Argonの独自評価を公開している。knowledge work向けのVals Indexでは68.9％とされ、同じ表の比較対象は63.1％、65.8％、67.0％だった。ただし、これらはベンダーが報告した数字であり、Googleの表でも項目によって首位のモデルは異なる。

個人の基準はベンチマークが落とす品質を拾える

product managerやknowledge workerにとって、Mollickの使用感はランキングの1点差より重要かもしれない。協働のしやすさ、長いタスクを維持する力、ツールを正しく使う安定性が、日常のworkflowに入るかどうかを決める。こうした品質を一つのスコアにまとめるのは難しい。

Gemini 4の公開には戦略的な側面もある。Googleに必要なのは自社の表で勝つことだけではない。習慣的にOpenAIやAnthropicの製品を最初に開く人に、その初期選択を変えてもらう必要がある。Mollickのコメントは、その習慣が揺らぎ始める可能性を示す。

一人の体験だけではモデルと製品全体を分離できない

prompt、設定、失敗した試行が公開されていないため、Mollickの基準を超えた要因を特定できない。モデル本体、インターフェース、利用可能なツール、選んだタスクのすべてが影響し得る。公開前のアクセスでは、通常の本番負荷におけるサービスの挙動も分かりにくい。

GoogleはArgonをGemini APIの有料枠で世界的に提供し、自社製品でも対象プランの契約者に提供している。広い提供範囲によって検証は進むが、一人の主観的な経験がそのまま一般的な結論になるわけではない。

同じ仕事を数週間続ければ初期選択の変化が見える

次に見るべきなのは、同じタスク、予算、人間による修正量をそろえた実務比較だ。チームは一度の回答の好みより、完了したタスク、やり直した手順、費用、人間の作業時間を測るべきだ。

開発者、研究者、文書中心の仕事をする人の間で同じ経験が繰り返されれば、Gemini 4は一時的なベンチマーク首位より価値あるものを得る。従来の本命を開く前に試されるモデルになる。

Lilithの判定

MollickがGemini 4に与えたのはメダルというより、日々の仕事場への入場許可だ。テストの一週間が終わってもArgonがその席に残るなら、Googleの勝ちになる。