Subquadratic pozyskuje 29 mln dolarów na okna 12M tokenów

Subquadratic startuje z $29M seed i obietnicą 12M tokenów za ułamek dotychczasowego kosztu

Subquadratic wchodzi na rynek z dużą obietnicą: model SubQ ma zmienić długi kontekst z drogiej funkcji demonstracyjnej w praktyczny tryb pracy. Firma pozyskała 29 milionów dolarów w rundzie seed i twierdzi, że jej architektura obsłuży do 12 milionów tokenów, czyli około 9 milionów słów lub prawie 120 książek.

Sparse attention jako droga do długiego kontekstu bez wykładniczego wzrostu kosztów

Subquadratic oficjalnie wystartował i razem z informacją o finansowaniu przedstawił model SubQ. Firmą kierują CEO Justin Dangel i CTO Alexander Whedon. Ich główna teza jest prosta: dense attention robi się zbyt kosztowny przy bardzo długich wejściach, więc długi kontekst potrzebuje innej architektury.

SubQ ma wykorzystywać podejście subkwadratowe i sparse attention. Celem jest powiększenie okna kontekstu bez takiego samego wzrostu kosztu obliczeń, jaki zwykle pojawia się w klasycznych transformerach. Subquadratic mówi o większej szybkości, lepszej dokładności i niższym koszcie.

Długość okna to warunek wstępny; dokładność w całym zakresie to właściwy test

Długi kontekst jest jedną z najbardziej widocznych granic obecnych produktów AI. Wiele modeli nadal działa w okolicach 128 tysięcy tokenów, a artykuł opisuje frontierowe modele chmurowe jako sięgające około 1 miliona tokenów. Subquadratic obiecuje znacznie większy skok.

Jeśli to zadziała stabilnie, może zmienić pracę z dużymi zestawami dokumentów, całymi repozytoriami kodu, archiwami umów, literaturą naukową i wewnętrzną wiedzą firm. Produkty mogłyby mniej polegać na agresywnym dzieleniu tekstu i kruchych warstwach retrieval. Więcej materiału źródłowego trafiłoby do modelu naraz.

Większe okno kontekstu nie oznacza automatycznie lepszego rozumowania. Model może dostać miliony tokenów, a mimo to pominąć kluczowe zdanie, pomylić podobne fragmenty albo odpowiedzieć według najmocniejszego wzorca zamiast właściwego dowodu.

Dlatego kluczowe będą niezależne benchmarki. Nie wystarczy pokazać, że model przyjmuje 12 milionów tokenów. Liczą się koszt, opóźnienie, dokładność na początku i w środku kontekstu oraz to, czy wynik nadaje się do realnych procesów produkcyjnych.

Kluczowym testem będzie dokładność w całym oknie, nie tylko jego długość

Warto śledzić dostęp SubQ dla deweloperów, ceny API, limity użycia i porównania z dzisiejszymi modelami long context od dużych dostawców chmurowych. Najbardziej przydatne będą testy needle in a haystack, analiza długich dokumentów prawnych i finansowych oraz praca na dużych bazach kodu.

Najlepszy scenariusz to nowa ekonomika aplikacji, które dziś blokuje cena i latencja długiego kontekstu. Bardziej trzeźwy scenariusz jest taki, że Subquadratic poprawi infrastrukturę, ale retrieval, attention, ewaluacja i użyteczność pozostaną trudnymi problemami.

Werdykt Lilith

Subquadratic sprzedaje bardzo kuszącą odpowiedź na problem długiego kontekstu: mniej obliczeń, więcej pamięci i niższy rachunek. Jeśli SubQ zadziała poza demem, może zmienić ekonomię agentów, analizy prawnej i pracy z ogromnymi bazami kodu. Ale 12 milionów tokenów to nie to samo co 12 milionów tokenów zrozumienia. Wygraną nie będzie rozmiar okna, tylko zdolność znalezienia właściwego szczegółu w szumie i sensownego użycia go.