IBM dio a GPT-4.1 una chuleta hecha con sus propios errores y el agente superó a los modelos frontier en τ²-bench retail

IBM Research demuestra que un agente de atención al cliente puede mejorar sin un modelo nuevo y sin fine-tuning. Su herramienta ALTK-Evolve hizo que GPT-4.1 recorriera tareas de entrenamiento y destilara reglas breves a partir de sus aciertos y fallos, que después añadió al system prompt. Con esa chuleta, el agente alcanzó un 67,5 % de Pass^4 en la parte retail de τ²-bench y, según IBM, superó a todas las entradas de la clasificación del 12 de octubre de 2026.

GPT-4.1 se escribió 292 reglas y acertó los cuatro intentos en el 67,5 % de las tareas

τ²-bench, de la empresa Sierra, simula conversaciones con clientes. El agente dispone de herramientas, como buscar un pedido o emitir un reembolso, y debe cumplir una política escrita de la empresa. Una tarea solo cuenta si el estado final de la base de datos coincide exactamente con el esperado. Pass^4 significa que el agente resolvió la tarea en los cuatro intentos independientes.

Las reglas son una simple lista en markdown. Por ejemplo: verifica la identidad del cliente antes de tocar un pedido. Antes de cualquier cambio, resume lo que vas a hacer y espera una aprobación explícita. Las extrae el mismo modelo que luego atiende a los clientes. No hay anotación humana y los pesos del modelo no cambian.

En las tareas de prueba reservadas, el Pass^4 de retail subió del 57,5 % al 67,5 % con el conjunto completo de 292 reglas. En la parte de aerolíneas pasó del 35 % al 45 %, aunque allí funcionaron mejor solo las 14 reglas más frecuentes. En la clasificación completa, el agente de retail superó también a RAFT-30B-A3B, un modelo ajustado con datos sintéticos de τ²-bench que obtiene un 61,4 %.

Las empresas pueden mejorar un agente editando el prompt en lugar de cambiar de modelo

Para los equipos que gestionan agentes en un servicio de atención al cliente, es una noticia práctica. En vez de esperar a un modelo nuevo o pagar un fine-tuning, basta con recopilar registros de conversaciones y dejar que el modelo extraiga de ellos reglas de trabajo. Las reglas se pueden leer. Un responsable de soporte puede revisarlas, tachar lo absurdo y añadir lo que falte. Con el fine-tuning no hay nada parecido.

El coste sube donde cabía esperar. El prompt más largo elevó el coste por conversación en retail de 0,084 a 0,139 dólares, un 65 % más. Las conversaciones incluso se acortaron un poco, entre 0,3 y 0,4 turnos. El bloque de reglas es idéntico en cada llamada, así que el prompt caching recupera buena parte del coste en producción. También funcionó con un modelo más potente: GPT-5.5 mejoró su Pass^4 en aerolíneas del 55 % al 70 % y alcanzó un 82 % en la clasificación, frente al 66 a 72 % de las entradas frontier.

Pruebas pequeñas y una clasificación en la que el agente había visto parte de su libro de texto

Los conjuntos de prueba son pequeños: 40 tareas en retail y 20 en aerolíneas. En aerolíneas, una sola tarea mueve el Pass^4 cinco puntos porcentuales, así que una mejora de 10 puntos equivale a dos tareas más. Los resultados son interesantes, pero con una muestra tan reducida cuesta distinguir una mejora estable del ruido.

La segunda pega está en la clasificación. τ²-bench puntúa el conjunto completo, incluidas las tareas de entrenamiento de las que el agente sacó sus reglas. IBM lo reconoce abiertamente y publica aparte los resultados de la prueba reservada. Además, el titular sobre ganar «sin un modelo frontier» solo vale para retail. En aerolíneas, GPT-4.1 quedó octavo y el primer puesto llegó con GPT-5.5. Y GPT-5.5 interpretó al cliente simulado en todas las ejecuciones, de modo que el agente hablaba con un modelo y no con una persona enfadada.

La clave es si la chuleta resiste un cambio de política de la empresa

La prueba de verdad ocurre fuera del benchmark. Las políticas cambian, las promociones terminan y los plazos de devolución se mueven. Cuando cambie la política, habrá que volver a aprender las reglas o el agente aplicará con total seguridad los procedimientos de ayer. Será revelador ver si alguien despliega ALTK-Evolve en un servicio real y cuenta con qué rapidez se puede actualizar la chuleta.

La segunda señal será si la clasificación oficial de τ²-bench acepta los resultados. IBM los envió como pull requests n.º 542 y 551. La biblioteca ALTK-Evolve está en GitHub, así que cualquiera con acceso a la API puede comprobar las cifras.

El veredicto de Lilith

IBM le metió en el bolsillo a un modelo veterano una chuleta de 292 reglas y adelantó a colegas más nuevos en la línea de atención al cliente. Pero parte del examen salió de las mismas preguntas de las que copió la chuleta, y en el mostrador de aerolíneas solo ganó con GPT-5.5.