Codex Ultrafast skrócił w OpenAI dochodzenia bezpieczeństwa z godziny do 15 minut. Klient płaci sześć razy więcej

OpenAI opublikowało relacje własnych inżynierów o tym, jak szybki tryb Ultrafast w Codeksie zmienia ich pracę podczas awarii. Największy zysk widzą w skupieniu: nie muszą już szukać przyczyny równolegle z agentem, bo odpowiedź przychodzi, zanim sami cokolwiek znajdą.

Ultrafast przeszukuje logi i Slacka, zanim inżynier zgubi wątek

Ultrafast to tryb wysokiej szybkości w Codeksie i według OpenAI stał się dla jego inżynierów domyślnym wyborem przy incydentach. Tekst należy do serii, w której firma pokazuje własne wewnętrzne wdrożenia. Aaron Friel, który zwykle koordynuje reakcję na incydent, zakłada kanał na Slacku i każe Codeksowi monitorować problem, badać go i odpowiadać na pytania. Dzięki szybkości, jak mówi, może przeszukać wszystkie stogi siana naraz.

Najbardziej konkretną liczbę podaje AJ Trbojevic, architekt bezpieczeństwa centrów danych. Zebranie danych ustrukturyzowanych i nieustrukturyzowanych, ich ujednolicenie i przygotowanie kontekstu do decyzji zajmowało kiedyś godzinę lub dwie. Teraz według niego trwa to 10 do 15 minut, czasem prawie w czasie rzeczywistym. Sayan Sisodiya z zespołu budującego rdzeń agentowy Codeksa każe agentowi przeszukiwać też Slacka pod kątem wzmianek o podejrzanych zmianach.

Jeff Niu ma prostą zasadę: jeśli odpowiedź AI trwa dłużej niż 30 sekund, pyta raczej kolegę. Z Ultrafast większość jego pracy mieści się poniżej tej granicy, dlatego chętniej bierze się za duże refaktoryzacje. Adam Perry prowadzi z kolei jeden długi wątek z Codeksem, który nazywa swoim szefem sztabu. Co rano dostaje od niego listę spotkań i wiadomości, na które zapomniał odpowiedzieć.

Szybkość zmienia to, co opłaca się oddać agentowi

OpenAI uruchomiło Ultrafast dla GPT-6.1 Sol 8 października. Według komunikatu dla deweloperów jest do ośmiu razy szybszy niż standardowy Sol. W API kosztuje 12 dolarów za milion tokenów wejściowych i 60 dolarów za milion wyjściowych, czyli sześć razy więcej niż cena standardowa. W Codeksie i ChatGPT Work mają go plan Pro 500, wybrane konta Enterprise rozliczane według zużycia i plany Edu na kredyty, przy czym w Enterprise musi go włączyć administrator. OpenAI deklaruje też obsługę rezydencji danych w USA i UE, więc europejskie firmy mogą go rozważać także dla danych, które nie mogą opuścić Europy.

Ciekawsze od samych liczb jest to, co inżynierowie mówią między wierszami. Adam Perry przyznaje, że kiedyś zlecał zadanie Codeksowi, a potem sam szukał tego samego, bo na agenta nie opłacało się czekać. Powolny agent nie oszczędzał więc pracy, tylko ją dublował. Dopiero gdy odpowiedź przychodzi w pół minuty, człowiek przestaje szukać równolegle.

Dla szefów zespołów to praktyczne pytanie. Sześciokrotna cena ma sens tam, gdzie czekanie kosztuje więcej niż tokeny, zwykle przy awarii. Przy codziennym pisaniu kodu, kiedy nic się nie pali, to drogi luksus.

Świadkami są pracownicy producenta, którzy za tokeny nie płacą

Wszystkie relacje pochodzą od pracowników OpenAI, którzy narzędzie budują albo korzystają z niego bez zmartwień o budżet. Tekst nie podaje, ile incydentów zmierzono, jak często Codex wskazał zły trop ani ile kosztowało dochodzenie. Jedyna twarda liczba, 10 do 15 minut zamiast godziny lub dwóch, to szacunek jednej osoby.

Szybka błędna odpowiedź jest podczas incydentu groźniejsza niż powolna. Kto wpuszcza agenta do logów, Slacka i przeglądarki, musi też rozwiązać kwestię uprawnień: co agent może czytać, co może zmieniać i kto sprawdzi jego pracę. O tych zabezpieczeniach tekst milczy.

Rozstrzygną liczby od firm, które płacą za Ultrafast z własnej kieszeni

Pierwszym sygnałem będą studia przypadków spoza OpenAI z liczbą incydentów i czasem do usunięcia awarii, najlepiej od firm, które płacą za szybki tryb z własnego budżetu. Drugim to, czy Ultrafast trafi do planów tańszych niż Pro 500.

Warto też śledzić, jak OpenAI opisze uprawnienia agenta podczas incydentu. Firmy, które chcą dać Codeksowi dostęp do logów produkcyjnych, wcześniej niż szybkości będą potrzebować przejrzystego zapisu tego, co agent widział i zrobił.

Werdykt Lilith

Inżynier, który kiedyś szukał błędu równolegle z agentem, bo czekanie na niego nie miało sensu, teraz spokojnie czyta jego odpowiedzi. OpenAI sprzedaje więc głównie pół minuty skupienia i liczy sobie za nie sześciokrotność ceny tokena.