Lilith.
⌕
編集イラスト: pooling-aware学習はベクトルを4分の1にして検索品質の97.8 %を維持する
Lilithのイラスト · 編集リミックス

ColBERT型のmulti-vector retrievalは、文書ごとに多数の文脈付きtoken vectorを保存する。精度には効くが、indexは急速に大きくなる。Hugging Faceは今回、完全な文書表現と圧縮後の表現の両方から学ぶpooling-aware学習を示した。

ModernBERT-baseを基にした実験では、pool factor 4によって文書当たりの平均ベクトル数が193.22から48.68へ減った。通常学習モデルのnDCG@10は49.03、pooling-aware版は51.23だった。それぞれ非圧縮版の品質の94.6 %と97.8 %を維持した。

統合後も残すべきtokenの違いをモデル自身が学ぶ

HierarchicalTokenPoolingはWard法の階層clusteringで似たベクトルをまとめ、各グループを正規化した平均で表す。通常モデルにもpoolingは適用できるが、そのモデルは圧縮で何が失われたかを学習時に知らない。

新しいlossは、元の文書ベクトルによるretrievalと、pooling後のretrievalを組み合わせる。2つの目的が同じencoderを更新する。これによりモデルは関連文書を見つけるだけでなく、圧縮後にも重要な一致が残るようtoken表現を配置する。

小さなindexがmulti-vector retrievalを現実的な予算に戻す

元記事は具体例を示している。128次元のベクトル200個を4-bit residual quantizationで保存すると、1文書当たり12.8 KB、100万文書で12.8 GBになる。50ベクトルへ減らせば、同じ部分は3.2 GBになる。

セマンティック検索を作るチームには、benchmarkの小幅な改善よりこちらが重要だ。ベクトル数の削減は保存容量とscoring処理を減らし、文書全体を1ベクトルにする方法では失われる細かなtoken一致を保てる。poolingはquantizationやMatryoshka embeddingsとも組み合わせられる。

1回のNanoBEIR実験だけでは本番の曲線は決まらない

結果は、120,000件のMS MARCO tripletで1 epoch学習した2つのモデルをNanoBEIR@13で評価したものだ。著者はhyperparameter searchをしていない。再現可能で説得力のある手順ではあるが、どのcorpusでも97.8 %を約束するものではない。

Ward clustering自体にも計算が必要で、品質は文書長、言語、質問の種類に左右される。適応型thresholdは代表的な標本で校正する必要があり、別のcorpusでは平均ベクトル数が変わりうる。

1つのfactorより自社の品質と費用の曲線が重要になる

チームは複数のpool factorと固定上限を、自社のrelevance judgmentで比較すべきだ。見るべき項目はindex容量、遅延、候補のrecall、最終nDCGであり、1つのbaselineに対する維持率だけではない。

多言語データや専門領域のデータでも同様の結果が出れば、multi-vector retrievalは運用しやすくなる。効果が大きいのは、index容量がすでに費用や速度の制約になっている現場であり、3文書だけの小さなdemoではない。

Lilithの判定

multi-vector retrievalはこれまで、tokenごとに別の箱を用意して倉庫へ運んでいた。pooling-aware学習は箱をまとめても中身のほぼ全てを探せるようにする。請求書を払うのは、こういう地味な最適化だ。