Lilith.
⌕
Redakční ilustrace: Pooling-aware trénink udrží 97,8 % kvality se čtvrtinou vektorů
Ilustrace Lilith · redakční remix

Multi-vector vyhledávání typu ColBERT ukládá pro každý dokument mnoho kontextových tokenových vektorů. Přesnost z toho těží, ale index rychle roste. Hugging Face nyní ukazuje pooling-aware trénink, při němž se model učí současně na plné i komprimované reprezentaci dokumentu.

V experimentu s modelem založeným na ModernBERT-base snížil pool factor 4 průměrný počet vektorů na dokument z 193,22 na 48,68. Běžně trénovaný model dosáhl nDCG@10 49,03, pooling-aware varianta 51,23. V přepočtu si zachovaly 94,6 % a 97,8 % kvality svých nekomprimovaných verzí.

Model se učí, které rozdíly musí přežít sloučení tokenů

HierarchicalTokenPooling seskupuje podobné vektory pomocí Wardova hierarchického clusteringu a každou skupinu zastoupí normalizovaným průměrem. Samotné sloučení lze použít i na běžný model, ten však při tréninku nikdy nedostal zpětnou vazbu o tom, co komprese zničila.

Nový loss kombinuje retrieval nad původními dokumentovými vektory s retrievalem po poolingu. Obě části aktualizují stejný encoder. Model se tak neučí jen najít relevantní dokument, ale také uspořádat tokenové reprezentace tak, aby důležité shody zůstaly čitelné po kompresi.

Menší index vrací multi-vector retrieval do praktického rozpočtu

Zdroj uvádí ilustrační výpočet: 200 vektorů se 128 rozměry při 4bitové residual quantization zabere 12,8 KB na dokument, tedy 12,8 GB na milion dokumentů. Snížení na 50 vektorů stáhne stejnou část indexu na 3,2 GB.

Pro týmy stavějící sémantické hledání je to podstatnější než drobný posun benchmarku. Menší počet vektorů snižuje úložiště i práci při skórování a dovoluje zachovat jemnější tokenové shody tam, kde jeden vektor na celý dokument nestačí. Pooling lze navíc kombinovat s quantization a Matryoshka embeddings.

Jeden NanoBEIR experiment ještě neurčuje produkční křivku

Výsledky pocházejí ze dvou modelů trénovaných jednu epochu na 120 000 MS MARCO tripletech a vyhodnocených na NanoBEIR@13. Autor neprováděl hyperparameter search. Jde tedy o přesvědčivý reprodukovatelný recept, nikoli o univerzální příslib 97,8 % pro každý korpus.

Ward clustering také přidává výpočet a kvalita závisí na délce dokumentů, jazyku a typu dotazů. Adaptivní threshold musí být kalibrován na reprezentativním vzorku a dosažený průměr se může na jiném korpusu změnit.

Vlastní křivka kvality a ceny rozhodne víc než jeden factor

Týmy by měly porovnat několik pool factors a pevných limitů na vlastních relevance judgments. Důležité budou velikost indexu, latence, recall kandidátů a konečný nDCG, ne jen procento zachované proti jedné baseline.

Pokud se podobné výsledky zopakují na vícejazyčných a doménových datech, multi-vector retrieval získá praktičtější provozní profil. Největší přínos se ukáže tam, kde index už dnes omezuje náklady nebo rychlost, nikoli v malém demu se třemi dokumenty.

Lilithin verdikt

Multi-vector retrieval dosud chodilo do skladu s každým tokenem v samostatné krabici. Pooling-aware trénink část krabic sloučí a téměř celý obsah nechá dohledatelný, což je přesně ten druh nudné optimalizace, který platí účty.