KI findet in engen Tests Fakten besser als Menschen. Die menschliche Kontrolle bekommt nur eine neue Aufgabe

Ethan Mollick veröffentlichte einen Vergleich, nach dem moderne KI Agenten Menschen beim Finden schwer zugänglicher Fakten und beim Prüfen wissenschaftlicher Aussagen übertreffen. Die Zahlen sind eindrucksvoll. Ihre Übertragung auf den Arbeitsalltag ist jedoch Mollicks Interpretation und kein Ergebnis, das beide Studien belegen.

Zwei Tests sprechen für Agenten, messen aber unterschiedliche Arbeit

Bei BrowseComp hatten menschliche Rechercheure ungefähr 2 Stunden pro schwieriger Frage. In 317 von 1.255 Fällen trafen sie die Referenzantwort, also in 25,3 %. Mollicks Grafik zeigt für neuere Agentensysteme Werte um 90 %, wobei die Labore unterschiedliche Budgets und Konfigurationen nutzten.

Die ACL Studie DeepFact von 2026 untersuchte Aussagen in umfangreichen Forschungsberichten. Fachleute auf Promotionsniveau erreichten ohne Hilfe 60,8 % bei verdeckten Aussagen mit bekannter Antwort. Nach drei weiteren Runden, in denen Belege geprüft und Benchmark Labels korrigiert wurden, stieg ihre Genauigkeit auf 90,9 %. DeepFactEval selbst erreichte auf der eingefrorenen Benchmark Version 83,4 %.

Kontrolle verlagert sich von der Einzelsuche zur Aufgabenstellung und Folgenabschätzung

Für Teams ist entscheidend, dass ein Modell als zweites Augenpaar dienen kann. Es kann Quellen prüfen, Aussagen zerlegen und Widersprüche schneller markieren als ein Mensch vor einem leeren Suchfeld. Ein sinnvoller Ablauf muss daher nicht jeden Satz manuell kontrollieren.

Menschen wählen weiterhin die Frage, bestimmen das akzeptable Risiko und bewerten die Folgen eines Fehlers. Eine interne Notiz, ein Schriftsatz und eine Medikamentendosis brauchen verschiedene Kontrollen. Diese Verantwortung übernimmt kein Benchmark.

Mollick überträgt enge Testergebnisse zu großzügig auf den Alltag

BrowseComp enthält absichtlich 1.266 schwer zu beantwortende Fragen und bewertet nur die endgültige Antwort. DeepFact umfasst 143 Aussagen mit bekannter Lösung, davon waren 120 bewusst unbelegt. Ein System, das immer „unbelegt“ antwortet, käme deshalb bereits auf 83,9 %.

Die Ergebnisse zeigen ebenso wenig, dass ein Agent eine unvollständige Aufgabe, einen falschen Rahmen oder ein veraltetes internes Dokument zuverlässig erkennt. Sie belegen starke Suche und Prüfung bei klar begrenzten Aufgaben. Das ist nützlich, aber enger.

Evals aus echter Arbeit und die Kosten übersehener Fehler entscheiden

Organisationen sollten eigene Aufgaben mit realen Dokumenten, lokalen Quellen, mehreren Modellen und wiederholten Läufen testen. Wichtiger als der Durchschnitt sind die Fehlerarten und die Frage, ob ein Prüfer sie erkennt, bevor das Ergebnis einen Kunden erreicht.

Hilfreich wäre außerdem eine unabhängige Reproduktion mit einheitlichem Suchbudget. Erst dann lässt sich Modellfortschritt von den Vorteilen längerer Laufzeit, mehrerer Agenten und eines sorgfältig konstruierten Tests trennen.

Liliths Urteil

Prüfer müssen nicht mehr jeden Link erneut öffnen, halten aber weiterhin den roten Knopf. Ein Benchmark misst Treffsicherheit, nicht die Kosten eines falschen Treffers.