Muse WonderでMetaが性能を伸ばし、llm-meta-ai 0.2が端末への道を開く

Simon Willisonは、LLMツールからMeta AI APIを使うためのプラグインllm-meta-ai 0.2を公開した。Muse WonderとMuse Wonder Fullに対応し、開発者が自分の課題ですぐ試せる経路を用意している。

プラグインは6段階のreasoningを選べる

Willisonはminimal、low、medium、high、xhigh、maxの各設定でMuse Wonderの出力を示した。いつもの自転車に乗るペリカンというpromptを使い、maxの結果を旧モデルと並べている。Metaは両モデルを自社で最も高性能なモデルと説明する。

比較対象には8月5日のMuse 1.2と9月2日のMuse 1.3も含まれる。約2カ月で3世代という速い更新だ。ただし画像は変化を見やすくする定点観測であり、標準化されたbenchmarkではない。

端末から使えるため独自evalまでの時間が縮まる

このプラグインの価値は、ベンダーのデモだけでモデルを判断したくないチームにある。同じpromptを複数のreasoning設定で実行し、ほかのモデルの回答と同じ道具の中で比較できる。

公開直後の検証も変わる。大きなプラットフォームの対応を待たず、実際の課題で小さなevalを走らせ、reasoningを増やすと品質が上がるのか、処理時間だけが伸びるのかを確認できる。

ペリカンは進歩を見せても本番性能までは測れない

同じ画像promptを繰り返せば、形の崩れや構図、指示への忠実さは見える。一方でコードの正確さ、long context、APIの安定性は判断できない。Artificial AnalysisがMuse Wonder MaxをGPT-6.1 Sol相当と評価したことも参考にはなるが、実際のworkflowでの試験に代わるものではない。

6段階の設定では、品質、latency、価格の釣り合いも変わり得る。3つを測らないままmaxを本番の標準にする理由はない。

月次更新の価値は実際の課題が決める

次に必要なのは、同じprompt、設定、予算でMuse WonderとMuse 1.3を比べる再現可能なevalだ。最高の一例だけでなく、結果のばらつきと応答時間も確認する必要がある。

llm-meta-ai 0.2は、その検証を始める障害を1つ取り除いた。コード、データ抽出、tool useでも改善が続くなら、Metaの速い更新は単なるモデル名の交換以上の意味を持つ。

Lilithの判定

自転車に乗るペリカンは煙試験にはなるが、本番モデルの席は実案件の壊れたコードで決まる。llm-meta-ai 0.2は、派手なテープカットなしでその試験室を開けた。