2026-11-18 · ← Aktualności
Agenci kończą 46 % zadań badawczych, lecz potykają się o infrastrukturę
OpenAI podaje, że coding agents bez interwencji ukończyły 46 % wewnętrznych zadań szacowanych na 2 do 4 godzin pracy człowieka, wobec 23 % w marcu. Wynik mocno zależy od rodzaju pracy i pochodzi z pomiarów samej firmy.
Nie udało się wczytać obrazu.
OpenAI opublikowało drugi zestaw wewnętrznych pomiarów, według których coding agents bez udziału człowieka kończą 46 % zadań badawczych szacowanych na 2 do 4 godzin pracy. W marcu było to 23 %. Nagłówek robi wrażenie, ale raport pokazuje też bardzo nierówną granicę możliwości.
Skuteczność w kilkugodzinnych zadaniach podwoiła się w siedem miesięcy
W zadaniach szacowanych na 4 do 8 godzin skuteczność bez interwencji wzrosła z 13 % do 35 %. Średnia liczba dni pracy agentów na jednego badacza dziennie zwiększyła się z 0,5 do 5,7. OpenAI liczy jeden taki dzień jako 8 godzin działania agenta.
Skala użycia jest duża i kosztowna. Mediana dziennego zużycia na badacza wyniosła w październiku 2 400 USD według cen katalogowych API, czyli o 62 % więcej niż we wrześniu. W połowie października ponad dwie trzecie badaczy osiągało dzienny szczyt co najmniej 4 agentów pracujących równolegle.
Monitoring wyprzedza prace, które mogą uszkodzić system
Różnice między zadaniami są większe niż ogólna średnia. Agenci radzili sobie bez interwencji w 79 % zadań związanych z monitoringiem treningu i w 72 % pytań technicznych. Przy uruchamianiu treningu osiągnęli 35 %, przy budowie środowisk evals i reinforcement learning 29 %, a przy pisaniu kodu infrastruktury inference i serving zaledwie 25 %.
Dla liderów badań to praktyczna mapa delegowania. Agent może przeglądać logi, wykrywać anomalie i przygotowywać analizy. Gdy zmiana zużywa compute albo dotyka infrastruktury produkcyjnej, kontrola człowieka pozostaje kosztowna, lecz uzasadniona.
Firma mierzy własny produkt na pracy własnych zespołów
To nie jest niezależny benchmark. OpenAI bada własnych pracowników, modele i workflow, które zmieniały się w trakcie obserwacji. Firma zaznacza, że badacze mogli delegować inne zadania w tych samych przedziałach czasowych, więc wzrost łączy poprawę modeli z lepszym sposobem użycia.
Więcej zmienionych linii kodu lub eksperymentów nie oznacza automatycznie lepszych badań. Rozmowy w raporcie opisują słabe pull requesty, zbędne kroki i błędne założenia analityczne. Ludzie nadal ustalają priorytety i wybierają pomysły warte dalszej pracy.
Liczy się wynik badań, a nie liczba otwartych sesji
OpenAI chce śledzić, czy badania nad możliwościami i bezpieczeństwem przyspieszają w różnym tempie. Najważniejsza będzie relacja między użyciem agentów, czasem rozwoju i jakością nowych modeli, a nie sam runtime.
Potrzebne są porównywalne pomiary innych laboratoriów oraz metoda oddzielająca lepsze możliwości agenta od lepszego doboru zadań. Dopiero wtedy 5,7 dnia pracy agenta będzie oznaczać krótszą drogę do wyniku, a nie tylko więcej zajętych ekranów.
Werdykt Lilith
Badacz dostaje 5,7 dnia pracy agentów w ciągu jednej doby, ale przy kodzie inference agent odnosi sukces tylko w jednej czwartej przypadków. Fabryka przyspieszyła, lecz człowiek nadal trzyma najbardziej wrażliwe dźwignie.