スマートフォンで動く19モデルがGPT-4を超えたという主張には評価指標が欠けている

Ethan Mollickは、現代のスマートフォンで動く19のAI modelがGPT-4より優れていると投稿した。GPT-4が丸1年間、彼の評価では文句なしの最良modelで、OpenAIに秘密の優位性があるのかと市場が議論していた時期との対比だ。

かつての最先端がポケット内の端末で越える基準になった

この投稿は能力の分布が大きく変わったことを捉えている。remote serviceの最先端を示す基準だったmodelが、Mollickの比較ではconsumer device上で動く多数のmodelに越えられる線になった。

ただし情報源にはbenchmark名、19 modelの一覧、現代のスマートフォンという言葉の技術的な定義がない。比較対象となるGPT-4のversionも示されていない。したがって19という数字はMollickが公に述べた主張として確認できるが、再現可能なtestの独立した結果としては確認できない。

Local inferenceは費用とuser dataの行き先を変える

十分な能力を持つmodelがスマートフォンで動けば、networkとremote APIへの依存が減る。product teamにとっては日常的な処理の限界費用を下げ、応答を速め、機密inputをcloud providerへ送らずに処理できる可能性がある。古いmodelを表の上で越えることより、この変化の方が重要だ。

あらゆる課題に最良な1つのmodelという考えも弱くなる。mobile modelが分類、文字起こし、短い支援を担い、applicationが難しい処理だけを大きなmodelへ送る構成が取れる。競争力はmodelだけでなく、router、memory、端末内に残すdataの選択にも宿る。

優れているという言葉は品質と速度とmemoryと電力を隠す

Benchmarkが測るのは一般知識、数学、指示への追従、または別の狭い能力かもしれない。スマートフォンで技術的に実行できても、latency、電力消費、memory使用量が日常のapplicationに向かない場合がある。条件がなければ、19という数字からuserがGPT-4より総合的に良いserviceを得られるとは判断できない。

GPT-4が歴史的に支配的だったという表現も、単一の技術分類ではなく評価だ。この投稿は能力の価格が急速に下がる様子を示す比喩として機能する。購入判断や再現可能なbenchmarkとしては情報が足りない。

Battery上で動く実用applicationが次の表より重要になる

次に説得力を持つsignalは、具体的なmodel名、精度またはscore、memory使用量、1秒あたりのtoken数、一般的なスマートフォン上の消費電力を示す必要がある。実際に配布されるvariantが体験を決めるため、quantization後の品質も同じく重要だ。

Local modelが、applicationが現在cloud APIへ料金を払っている機能を安定して担い始めれば、市場が変化を裏づける。それまでは19という数字は方向を示す標識だが、距離と路面状況が書かれていない。

Lilithの判定

スマートフォン上の19 modelは、能力の価格崩壊を思わせる。ただしbenchmark名がなければ、距離表示だけ外された道路標識だ。