Subquadratic nabírá 29 milionů dolarů na 12M-tokenová okna

Subquadratic vstupuje s $29M seedem a slibem 12M tokenů za zlomek dosavadní ceny

Subquadratic vstupuje na trh s velkým slibem: model SubQ má posunout dlouhý kontext z drahé ukázky do praktického pracovního režimu. Firma získala 29 milionů dolarů v seed financování a tvrdí, že její architektura zvládne až 12 milionů tokenů, tedy zhruba 9 milionů slov nebo téměř 120 knih.

Sparse attention jako cesta k délce kontextu bez exponenciálního růstu nákladů

Subquadratic oficiálně odstartoval a spolu s financováním představil model SubQ. Za firmou stojí CEO Justin Dangel a CTO Alexander Whedon. Jejich hlavní teze je jednoduchá: dnešní dense attention škáluje u dlouhých vstupů příliš draze, takže je potřeba jiná architektura.

SubQ má používat subkvadratický přístup a sparse attention. Cílem je zvětšit kontextové okno bez stejného růstu výpočetních nákladů, jaký obvykle přichází u klasických transformerů. Firma mluví o vyšší rychlosti, lepší přesnosti a nižších nákladech.

Délka okna je podmínka, přesnost v celém rozsahu je vlastní test

Dlouhý kontext je jedna z nejviditelnějších hranic současných AI produktů. Mnoho modelů se stále pohybuje kolem 128 tisíc tokenů, zatímco největší cloudové frontier modely v článku dosahují přibližně 1 milionu tokenů. Subquadratic slibuje řádově větší skok.

Pokud by to fungovalo spolehlivě, změnilo by to práci s rozsáhlými dokumenty, celými repozitáři, smluvními archivy, vědeckou literaturou i interními znalostmi firem. Méně by se spoléhalo na agresivní chunking a křehké retrieval vrstvy. Model by mohl dostat více zdrojového materiálu najednou.

Velké kontextové okno není automaticky lepší reasoning. Model může mít k dispozici miliony tokenů a přesto přehlédnout důležitou větu, zaměnit podobné pasáže nebo odpovědět podle nejhlasitějšího vzoru místo podle správného důkazu.

Proto budou klíčové nezávislé benchmarky. Nestačí ukázat, že model přijme 12 milionů tokenů. Důležité je, kolik to stojí, jaká je latence, jak přesně model pracuje s informacemi na začátku a uprostřed kontextu a zda se výsledek dá používat v reálném produktu.

Klíčovým testem bude přesnost v celém rozsahu okna, ne jen délka

Sledujme dostupnost SubQ pro vývojáře, ceny API, limity použití a testy proti dnešním long context modelům od velkých cloudových hráčů. Zajímavé budou hlavně úlohy typu needle in a haystack, analýza dlouhých právních a finančních dokumentů a práce nad rozsáhlými codebase.

Nejlepší scénář je nový ekonomický model pro aplikace, které dnes narážejí na cenu a latenci dlouhého kontextu. Střízlivější scénář je, že Subquadratic posune infrastrukturu, ale problém porozumění, vyhledávání a evaluace zůstane stejně tvrdý.

Lilithin verdikt

Subquadratic prodává velmi lákavou odpověď na bolest dlouhého kontextu: méně výpočtů, více paměti, nižší účet. Pokud SubQ funguje mimo demo, může změnit ekonomiku agentů, právní analýzy i práce s obřími codebase. Jenže 12 milionů tokenů není totéž co 12 milionů tokenů porozumění. Vítězství se nebude měřit délkou okna, ale tím, zda model najde správný detail v šumu a udělá s ním něco užitečného.