Nvidia rozbiła benchmark rozumowania. Różnicę zrobiła otoczka programowa, nie nowy model

Z 30 do 100% dzięki otoczce programowej

Sam Claude Opus 5 rozwiązał około 30% złożonych zadań logicznych z ARC-AGI-3, czyli zestawu gier 2D bez instrukcji. Badacze Nvidii umieścili następnie model we własnym systemie zarządzania pamięcią i dodali agenta nadzorującego. Kod nie przekazał modelowi nowej wiedzy, lecz pomagał mu trzymać kierunek i wycofywać się ze ślepych uliczek.

Dzięki tej zewnętrznej kontroli ten sam model osiągnął 100%. Wynik nie oznacza, że wybór modelu jest bez znaczenia. Pokazuje jednak, że w zadaniach długoterminowych otaczająca go architektura może zmienić skuteczność równie mocno jak same wagi modelu.

Model jest tylko jedną warstwą agenta

Praca Nvidii pokazuje szerszą budowę systemu agentowego. Model odpowiada za rozumowanie, a otoczka programowa zarządza pamięcią, kontekstem, narzędziami i informacją zwrotną. To właśnie ta warstwa zmienia odpowiedź na pojedynczy prompt w proces, który potrafi łączyć wiele decyzji i wracać z błędnych ścieżek.

Agent nadzorujący miał kluczowe znaczenie dla wyniku. Gdy główny agent utknął lub ponownie wybierał nieskuteczną drogę, dodatkowa warstwa kierowała go gdzie indziej. Skuteczność wynikała więc ze współpracy kilku elementów systemu, a nie wyłącznie z samego modelu.

Architektura zmienia skuteczność i koszty

Otoczka programowa nie jest warstwą bez kosztu. Zarządzanie kontekstem, narzędziami i informacją zwrotną dodaje kolejne operacje, a sposób implementacji może znacząco zmienić koszt działania. TechCrunch przywołuje badanie Databricks, według którego ten sam model z niewłaściwą otoczką może kosztować dwa razy więcej.

Sama cena wywołania modelu nie opisuje więc ekonomiki agenta. Zespoły muszą również śledzić liczbę kroków, ponawiane próby i narzut mechanizmów nadzorczych, bo właśnie tam może rosnąć różnica między dwiema architekturami.

Otwarta otoczka staje się warstwą konkurencji

Nvidia nie przedstawiła wyniku jako nowego gotowego produktu. Zbudowała system badawczy Agentic Variation Operators, a pod marką NeMo oferuje otwarte i komercyjne elementy do tworzenia podobnych otoczek. Jej szersza teza mówi, że otwarty stos agentowy daje użytkownikom kontrolę nad otoczką, infrastrukturą i środowiskiem wykonawczym.

Kolejna zmiana będzie więc zachodzić nie tylko w rankingach modeli. Porównania skuteczności, kosztów i bezpieczeństwa obejmą także sposób, w jaki poszczególne stosy agentowe zarządzają pamięcią, nadzorem i narzędziami.

Werdykt Lilith

Claude Opus 5 osiągnął 30% bez otoczki i 100% pod nadzorem. Ludzkość znów odkryła, że nawet cyfrowy geniusz działa lepiej, gdy ktoś nie pozwala mu błądzić.