AI wygrywa z ludźmi w wąskich testach wyszukiwania faktów. Rola człowieka tylko się zmienia

Ethan Mollick opublikował zestawienie, według którego współczesne agenty AI przewyższają ludzi w wyszukiwaniu trudno dostępnych faktów i sprawdzaniu twierdzeń naukowych. Liczby robią wrażenie. Wniosek dotyczący codziennej pracy jest jednak interpretacją Mollicka, a nie wynikiem potwierdzonym przez oba badania.

Dwa testy dają przewagę agentom, lecz mierzą inną pracę

W BrowseComp ludzcy badacze mieli około 2 godzin na każde trudne pytanie. Trafili w odpowiedź referencyjną w 317 z 1 255 przypadków, czyli w 25,3 %. Na wykresie Mollicka nowsze systemy agentowe osiągają około 90 %, choć laboratoria stosowały różne budżety i konfiguracje.

Badanie DeepFact z ACL 2026 dotyczyło kontroli twierdzeń w pogłębionych raportach. Specjaliści na poziomie doktoratu, pracujący samodzielnie, uzyskali 60,8 % na ukrytym zbiorze twierdzeń ze znaną odpowiedzią. Po trzech kolejnych rundach audytu dowodów i poprawiania etykiet dokładność ekspertów wzrosła do 90,9 %. Sam DeepFactEval osiągnął 83,4 % na zamrożonej wersji benchmarku.

Kontrola przesuwa się z ręcznego szukania na dobre pytanie i ocenę skutków

Dla zespołów ważne jest to, że model może działać jako druga para oczu. Potrafi przejrzeć źródła, rozbić twierdzenie na części i wskazać sprzeczność szybciej niż człowiek zaczynający od pustego pola wyszukiwarki. Rozsądny proces nie musi więc opierać się na ręcznym sprawdzaniu każdego zdania.

Człowiek nadal wybiera pytanie, ustala dopuszczalne ryzyko i ocenia koszt pomyłki. Notatka wewnętrzna, pismo procesowe i dawka leku wymagają innych zabezpieczeń. Benchmark tej odpowiedzialności nie przejmie.

Mollick zbyt łatwo przenosi wyniki benchmarków na codzienną pracę

BrowseComp celowo zawiera 1 266 pytań z trudno dostępnymi odpowiedziami i ocenia tylko wynik końcowy. DeepFact obejmuje 143 twierdzenia ze znaną odpowiedzią, z czego 120 celowo pozbawiono oparcia. System odpowiadający zawsze „brak potwierdzenia” zdobyłby więc 83,9 %.

Testy nie pokazują też, że agent niezawodnie wykryje niepełne zlecenie, błędne ramy problemu albo nieaktualny dokument wewnętrzny. Pokazują bardzo dobre wyszukiwanie i audyt w precyzyjnie zdefiniowanych zadaniach. To cenna, lecz węższa teza.

Spór rozstrzygną evals z prawdziwej pracy i koszt przeoczonego błędu

Firmy powinny mierzyć własne zadania na rzeczywistych dokumentach i lokalnych źródłach, porównując kilka modeli w powtarzanych próbach. Liczy się nie tylko średnia trafność, lecz także rodzaj błędów i szansa, że recenzent złapie je przed wysłaniem wyniku klientowi.

Potrzebna jest również niezależna reprodukcja przy takim samym budżecie wyszukiwania. Dopiero ona oddzieli postęp modelu od korzyści płynących z dłuższego działania, większej liczby agentów i starannie zaprojektowanego testu.

Werdykt Lilith

Recenzent nie musi ponownie otwierać każdego linku, ale nadal trzyma czerwony przycisk. Benchmark mierzy celność, a nie koszt trafienia obok.