Agenci zaliczają demo na piątkę. Dlaczego zawodzą w produkcji?
Jeśli wyznaczysz agenta AI do tego samego zadania produkcyjnego dziesięć razy, za każdym razem może on wybrać inną ścieżkę do rozwiązania i napotkać inne problemy. Nowe badania przeprowadzone przez IBM i Hugging Face wskazują, że tradycyjne benchmarki ignorują tę niespójność.