Lilith.
⌕
編集イラスト: Qwen4 Maxが追い上げても、open weightモデルは最前線に届かない
Lilithのイラスト · 編集リミックス

AlibabaがQwen4 Maxを公開し、Artificial AnalysisのIntelligence Indexで43点を記録した。Qwen3.8 Maxより9点高いが、open weightモデルをめぐる状況は変えていない。Qwen4 Maxの提供形態はAPIである。

Qwen4 Maxは9点伸びたがKimi K3.1 Proには届かない

Artificial Analysisはxhigh reasoning effortでQwen4 Maxを評価した。Intelligence Indexは43点で、Qwen3.8 Maxの34点を上回る。一方、Kimi K3.1 Proは46点で先行している。

同じ評価では、indexの1 task当たりのcostは3.27ドルで、Kimi K3.1 Proの3.68ドルより約11%低い。Qwen4 Maxは約100万tokenのcontext windowを持ち、textとimageを入力でき、Alibabaのfirst-party APIから利用できる。これは1つの独立benchmark suiteによる結果であり、modelの普遍的な順位ではない。

安いAPIだけではopen weightモデルの停滞は解消しない

Ethan Mollickは別の点に注目した。FableとMythosのmodel classが公に示されてから8か月以上たっても、同等のopen modelは登場していないという見方だ。AlibabaがQwen4 Maxのweightを公開していないため、今回のreleaseもこの評価を変えない。

違いは実務に現れる。APIは高い性能と低い価格を提供できるが、顧客が自社infraでmodelを動かし、weightを変更し、長期的なvendor依存を管理できるとは限らない。inference価格の進歩とfrontier能力へのaccess拡大は別の話だ。

1つのrankingでは管理権限、privacy、運用riskを測れない

Artificial Analysisのindexは、knowledge work、coding、science、general knowledgeのtaskを組み合わせている。43点はその手法の中で有用な比較になるが、data sovereignty、auditability、APIの安定性には答えない。

Fable classも標準化された技術分類ではない。Mollickは能力の層を表す言葉として使っており、1つのscoreで認定できる厳密な境界ではない。この指摘は市場の妥当な診断だが、急速に変わるmodelとbenchmarkに対する解釈でもある。

open weightは実務と運用の両方で結果を出す必要がある

転機になるのは、複数の独立evalsでclosed modelの最前線に近づき、現実的に運用できるmodelのweightが公開された時だ。license、必要なGPU、inference cost、実際のworkflowでの結果をまとめて見る必要がある。

Qwen4 Maxは、能力の急速な向上とAPI経済性の改善を示した。ただし、同じ水準がいつopen weightで手に入るかには答えていない。

Lilithの判定

Qwen4 Maxは最前列のticketを安くしたが、weightは幕の裏に残った。安い席を買えても、劇場の鍵までは渡されない。