Terminal X mierzy osąd inwestycyjny: recenzent na GPT-6.1 Sol zgadza się z seniorem w 88,6%

Startup Terminal X buduje dla firm inwestycyjnych agentów, którzy mają zatrzymać w firmie osąd jej najlepszych ludzi. Według studium przypadku na blogu OpenAI jego Eval Agent na GPT-6.1 Sol zgodził się z seniorem oceniającym w 88,6% z 500 ocen. Drugi najlepszy model osiągnął 86,4%.

Terminal X rozkłada decyzje funduszu na setki agentów i jednego recenzenta

Terminal X nazywa problem „memory debt”. Gdy odchodzi starszy inwestor, firma zachowuje dokumenty, ale traci rozumowanie, które za nimi stało. Dlatego Terminal X wysyła do klientów forward-deployed inżynierów, byłych pracowników JPMorgan i Blackstone. Przez całe tygodnie pracują z zespołami inwestycyjnymi, rozbierają na części sprawdzone memo i spisują procedury, których nikt nigdy nie zanotował. Na przykład to, jak zespół kredytowy prześwietla kredytobiorcę.

Powstają z tego setki agentów podzielonych według klas aktywów i strategii. GPT-6.1 Sol dostaje etapy wymagające osądu i długiego kontekstu: tezę inwestycyjną, kluczowe ryzyka i zgodność z mandatem funduszu. Tańszy GPT-6 Luna obsługuje etapy masowe. Agenci działają w prywatnym data roomie klienta, on-premise albo w jego własnej chmurze, i czytają dokumenty po angielsku, koreańsku, japońsku i chińsku.

Wyniki sprawdza Eval Agent według rubryki z 54 kryteriami. Pyta, czy zgadzają się liczby i źródła, czy argument się broni i czy rekomendacja pasuje do stanowiska firmy. Każda porażka dostaje jednozdaniowe uzasadnienie z poprawką i trafia do systemu jako nowa instrukcja albo test. Na GPT-6.1 Sol recenzent wyłapał o około 25% więcej odstępstw od mandatu i według firmy kosztował mniej więcej 30% mniej za zapytanie niż kolejny model w rankingu.

Dla funduszy ślad audytowy jest cenniejszy niż sam wynik zgodności

Liczbę 88,6% łatwo odczytać jako „AI inwestuje jak senior”. Mierzy ona jednak coś węższego: jak często agent kontrolny wydał ten sam werdykt co starszy oceniający. To i tak ma wartość. Fundusz, który potrafi pokazać, dlaczego agent przepuścił memo i z jakich źródeł korzystał, ma zapis, o który będą pytać inwestorzy i dział compliance.

Druga warstwa jest biznesowa. Terminal X sprzedaje przede wszystkim zamianę niespisanego doświadczenia na dane, które należą do firmy, a dopiero potem model. Zmienia się przez to praca młodszych analityków: każda ich poprawka staje się sygnałem, z którego system się uczy. Fundusz mniej traci na odejściu pojedynczych osób, za to potrzebuje dostawcy, który utrzyma jego Memory w aktualnym stanie.

Liczby pochodzą od dostawcy, a drugi model pozostał anonimowy

To studium przypadku opublikowane przez OpenAI, więc obie firmy mają w nim interes. Wszystkie dane są wewnętrzne: 500 ocen, różnica 220 punktów bazowych i 2,4 mln dolarów rocznych oszczędności w jednym funduszu private equity. Tekst nie podaje, który model był drugi, ilu seniorów oceniało ani jak dobierano przypadki. A zgodność z oceniającym nic nie mówi o tym, czy rekomendowane transakcje przyniosłyby zysk.

Dryf od mandatu, gdy fundusz wykupowy zaczyna polecać distressed debt, to dokładnie ten błąd, który człowiek przeoczy w piątek wieczorem. Dobrze, że agent wyłapuje go częściej. Pozostałych 11,4% przypadków, w których agent i człowiek się rozeszli, studium jednak nie analizuje. Nie wiemy więc, kto w tych sporach miał rację.

Prawdziwym testem będzie odejście pierwszego partnera

Terminal X podaje 1700 firmowych Memories, ponad milion własnych workflow i tygodniowych aktywnych użytkowników na poziomie 81% miesięcznych. Następnym krokiem ma być Memory dla każdego inwestora z osobna, a nie tylko dla zespołów. Prawdziwy sprawdzian nadejdzie, gdy z funduszu klienta odejdzie ktoś, czyj osąd system miał zachować, a jego następca będzie musiał zdecydować, czy ufa agentowi bardziej niż własnym notatkom.

Bardziej przekonujące byłyby niezależne dane: zgodność z kilkoma oceniającymi, analiza rozbieżności i porównanie z nazwanymi modelami. Dopóki ich nie ma, 88,6% pozostaje ciekawą liczbą z prezentacji sprzedażowej.

Werdykt Lilith

Odchodzący partner wynosi z biura pudło ze zdjęciami, a Terminal X obiecuje, że jego osąd zostanie na serwerach funduszu. Na razie zmierzył go jeden recenzent na 500 przypadkach, a o 11,4% sporów nikt nie mówi.