Cuatro empresas de IA respaldan una señal común contra el scraping para entrenamiento

OpenAI, Google, Microsoft y Anthropic han respaldado un policy token común en robots.txt. Un editor podrá usar una sola señal para rechazar el uso de sus contenidos en AI training, en vez de configurar una regla distinta para el crawler de cada empresa.

Un token pretende sustituir una lista de bloqueos por crawler

Kevin Kelley, de Anthropic, propuso el mecanismo dentro de los trabajos de la Internet Engineering Task Force. El token vive en robots.txt, el archivo que los sitios llevan décadas usando para comunicar reglas de acceso a los crawlers. La diferencia es que la preferencia describe una finalidad de uso, no solo el nombre de un bot concreto.

Las cuatro empresas afirman que respetarán la señal. Anthropic ya la ha implementado. OpenAI habla de los próximos meses, mientras Google y Microsoft apuntan al año que viene. Meta apoyó la propuesta, pero no se comprometió a obedecerla. Un estándar común todavía no implica una fecha común de lanzamiento.

Microsoft también promete controles separados para AI training y grounding. El sitio debería seguir apareciendo en los resultados ordinarios de Bing Search con independencia de esa preferencia. Google ya separa algunos usos de IA de la búsqueda convencional mediante controles relacionados.

Los editores podrán separar por fin visibilidad y entrenamiento

La elección anterior solía ser demasiado brusca. Un sitio quería tráfico del buscador, pero no quería aportar sus textos a un corpus de entrenamiento. Cuando un crawler de uso mixto cumplía varias funciones, bloquear una podía perjudicar a la otra. Una señal compartida ofrece al editor un interruptor más claro y al operador un lugar único donde leerlo.

Cloudflare indicó en septiembre que los crawlers de uso mixto representaban el 36,6 % del tráfico verificado de crawlers en su red. Menos del 1 % de los sitios bloqueaba los crawlers de búsqueda, mientras el 17 % restringía AI training. La diferencia explica la demanda: los propietarios no quieren desaparecer de internet, pero sí separar los distintos usos de una misma página.

Para los equipos de producto y jurídicos, la ventaja inmediata es operativa. Mantener una preferencia resulta más sencillo que gestionar una lista creciente de nombres de bots. El estándar también deja un registro más claro de lo comunicado al operador del crawler.

Robots.txt expresa una preferencia, pero no puede imponerla

El policy token no detiene técnicamente a un crawler. Solo funciona cuando el operador lo reconoce y lo respeta. Los compromisos de cuatro grandes empresas le dan peso, pero no resuelven los scrapers sin identificar, los bots renombrados ni las disputas por datos recopilados antes de que existiera la preferencia.

También siguen sin estar claras las fronteras entre entrenamiento, grounding, una respuesta de IA en búsqueda y un agente que carga una página a petición del usuario. Microsoft promete opciones detalladas, pero los sitios necesitarán la misma precisión de otros proveedores. Un token puede unificar el vocabulario sin unificar todos los modelos de negocio.

Las implementaciones de Google, Microsoft y OpenAI serán la prueba

La primera señal medible llegará cuando las otras tres empresas publiquen documentación, fechas y un comportamiento de crawler verificable. Los administradores deben poder comprobar que rechazar el entrenamiento no elimina la visibilidad en búsqueda tradicional y que las empresas no interpretan de forma distinta la misma preferencia.

La segunda prueba vendrá de operadores más pequeños y proveedores de infraestructura como Cloudflare. El estándar solo tendrá fuerza práctica cuando los hostings lo ofrezcan como ajuste habitual y los crawlers ajenos a las cuatro grandes expliquen cómo lo aplican.

El veredicto de Lilith

Cuatro grandes empresas por fin han aceptado leer el mismo cartel en la puerta de una web. La prueba real llegará cuando detrás esté el material de entrenamiento más valioso.