IBM gab GPT-4.1 einen Spickzettel aus den eigenen Fehlern, und der Agent schlug Frontier-Modelle im Retail-Teil von τ²-bench

IBM Research zeigt, dass ein Kundenservice-Agent besser werden kann, ohne neues Modell und ohne Fine-Tuning. Das Werkzeug ALTK-Evolve ließ GPT-4.1 Trainingsaufgaben durchspielen und aus Erfolgen wie Fehlern kurze Regeln ableiten, die dann im System-Prompt landeten. Mit diesem Spickzettel erreichte der Agent im Retail-Teil von τ²-bench 67,5 % Pass^4 und lag laut IBM vor allen Einträgen der Rangliste vom 12. Oktober 2026.

GPT-4.1 schrieb sich 292 Regeln und bestand bei 67,5 % der Aufgaben alle vier Versuche

τ²-bench von der Firma Sierra simuliert Kundengespräche. Der Agent hat Werkzeuge, etwa zum Nachschlagen einer Bestellung oder für eine Erstattung, und muss eine schriftliche Firmenrichtlinie einhalten. Eine Aufgabe zählt nur, wenn der Endzustand der Datenbank exakt dem erwarteten entspricht. Pass^4 bedeutet, dass der Agent die Aufgabe in allen vier unabhängigen Versuchen gelöst hat.

Die Regeln sind eine schlichte Markdown-Liste. Zum Beispiel: Prüfe die Identität des Kunden, bevor du eine Bestellung anfasst. Fasse vor jeder Änderung zusammen, was du tun wirst, und warte auf ausdrückliche Zustimmung. Die Regeln extrahiert dasselbe Modell, das danach die Kunden bedient. Niemand annotiert etwas von Hand, und die Gewichte des Modells bleiben unverändert.

Auf zurückgehaltenen Testaufgaben stieg Pass^4 im Retail-Teil mit allen 292 Regeln von 57,5 % auf 67,5 %. Im Airline-Teil ging es von 35 % auf 45 %, dort funktionierten aber nur die 14 häufigsten Regeln am besten. Auf der vollständigen Rangliste schlug der Retail-Agent auch RAFT-30B-A3B, ein auf synthetischen τ²-bench-Daten feinjustiertes Modell mit 61,4 %.

Firmen können einen Agenten über den Prompt verbessern, statt das Modell zu tauschen

Für Teams, die Agenten in der Kundenhotline betreiben, ist das eine praktische Nachricht. Statt auf ein neues Modell zu warten oder für Fine-Tuning zu zahlen, sammeln sie Gesprächsprotokolle und lassen das Modell daraus Arbeitsregeln ableiten. Die Regeln sind lesbar. Eine Support-Leitung kann sie durchgehen, Unsinn streichen und Fehlendes ergänzen. Beim Fine-Tuning geht nichts dergleichen.

Die Kosten steigen dort, wo man es erwartet. Der längere Prompt hob die Kosten pro Gespräch im Retail-Teil von 0,084 auf 0,139 Dollar, also um 65 %. Die Gespräche wurden sogar etwas kürzer, um 0,3 bis 0,4 Züge. Der Regelblock ist bei jedem Aufruf identisch, deshalb holt Prompt Caching im Betrieb einen Großteil der Kosten zurück. Auch mit einem stärkeren Modell klappte es: GPT-5.5 verbesserte Pass^4 im Airline-Teil von 55 % auf 70 % und kam auf der Rangliste auf 82 %, während die Frontier-Einträge bei 66 bis 72 % lagen.

Kleine Testsets und eine Rangliste, bei der der Agent sein Lehrbuch teilweise kannte

Die Testsets sind klein: 40 Aufgaben im Retail-Teil und 20 im Airline-Teil. Dort verschiebt eine einzige Aufgabe Pass^4 um 5 Prozentpunkte, ein Plus von 10 Punkten sind also zwei zusätzliche Aufgaben. Die Ergebnisse sind interessant, doch bei so kleinen Stichproben lässt sich eine stabile Verbesserung schwer vom Rauschen trennen.

Der zweite Haken liegt in der Rangliste. τ²-bench bewertet das gesamte Set, also auch die Trainingsaufgaben, aus denen der Agent seine Regeln gezogen hat. IBM sagt das offen und weist die Zahlen des zurückgehaltenen Tests getrennt aus. Die Überschrift vom Sieg „ohne Frontier-Modell“ gilt zudem nur für Retail. Im Airline-Teil landete GPT-4.1 auf Platz acht, den ersten Platz holte erst GPT-5.5. Den simulierten Kunden spielte in allen Läufen GPT-5.5, der Agent sprach also mit einem Modell und nicht mit einem verärgerten Menschen.

Entscheidend ist, ob der Spickzettel eine geänderte Firmenrichtlinie übersteht

Die eigentliche Prüfung findet außerhalb des Benchmarks statt. Richtlinien ändern sich, Aktionen enden, Rückgabefristen verschieben sich. Ändert sich die Richtlinie, müssen die Regeln neu gelernt werden, sonst wendet der Agent selbstsicher die Abläufe von gestern an. Spannend wird, ob jemand ALTK-Evolve im echten Support einsetzt und berichtet, wie schnell sich der Spickzettel aktualisieren lässt.

Das zweite Signal ist, ob die offizielle Rangliste von τ²-bench die Ergebnisse übernimmt. IBM hat sie als Pull Requests Nr. 542 und 551 eingereicht. Die Bibliothek ALTK-Evolve liegt auf GitHub, jeder mit API-Zugang kann die Angaben also nachprüfen.

Liliths Urteil

IBM steckte einem älteren Modell einen Spickzettel mit 292 Regeln in die Tasche, und es überholte an der Kundenhotline jüngere Kollegen. Einen Teil der Prüfung schrieb es aber mit genau den Fragen, aus denen es den Zettel abgeschrieben hatte, und am Airline-Schalter gewann erst GPT-5.5.