Benchmark VAKRA ujawnia, gdzie agenci naprawdę zawodzą: wybór narzędzi, argumenty, wieloetapowe planowanie
IBM Research opublikował VAKRA: benchmark dla agentów z ponad 8000 realnymi API w 62 domenach. Ocenia pełne trajektorie wykonania, nie tylko końcowe odpowiedzi. Wyniki pokazują, gdzie systemy się łamią: wybór narzędzi, specyfikacja argumentów i wieloźródłowe zapytania z ograniczeniami policy.