Una señal en robots.txt permitirá excluir un sitio del entrenamiento de varias empresas de IA

OpenAI ha anunciado que admitirá una señal compartida en robots.txt para expresar preferencias sobre el entrenamiento de IA generativa. El operador de un sitio dejaría de necesitar una regla distinta para el crawler de cada proveedor participante. La empresa aspira a implementarla en los próximos meses, aunque todavía no ha dado una fecha ni todos los detalles técnicos.

OpenAI unifica la exclusión del entrenamiento y mantiene los controles actuales

El mecanismo parte del trabajo del grupo AI Preferences de la IETF. La propuesta introduce un policy token específico dentro de la estructura habitual de robots.txt, lo que permite definir preferencias por rutas sin cambiar la sintaxis del archivo. Sigue siendo un Internet-Draft, no un estándar aprobado por la IETF.

OpenAI afirma que sus controles actuales para crawlers seguirán vigentes. Los operadores podrán separar el entrenamiento de modelos de la visibilidad en la búsqueda de ChatGPT. La señal compartida reduce mantenimiento, pero no convierte todos los usos del contenido web en un único interruptor.

Los editores ahorran configuración, pero el conflicto sobre el consentimiento continúa

Para medios pequeños y equipos web la ventaja es concreta: una preferencia puede dirigirse a varios proveedores y no exige cambios cada vez que se renombra un crawler. Google también ha anunciado que prevé adoptar el mecanismo en 2027, lo que le da más peso que otra etiqueta limitada a un proveedor.

La señal resuelve sobre todo la comunicación. No demuestra que una empresa haya retirado contenido del entrenamiento ni cubre automáticamente copias de una obra alojadas en otros dominios. Además, los creadores no siempre controlan los sitios donde aparecen sus trabajos.

Un archivo público no funciona como cerradura ni como auditoría

robots.txt depende de la cooperación voluntaria. Un crawler responsable leerá la regla, un recolector abusivo puede ignorarla y el operador del sitio no puede inspeccionar desde fuera un conjunto de entrenamiento. La propuesta también separa las preferencias de uso del contenido de las reglas de acceso del crawler.

Por eso harán falta criterios claros para resolver conflictos y un proceso verificable para corregir errores. Sin ese proceso, los editores tendrán una forma más sencilla de expresar su voluntad, pero ninguna prueba de que sus materiales estén fuera de los datos.

La adopción y las vías de reclamación decidirán su utilidad

Los próximos indicadores serán la implementación concreta de OpenAI, la cantidad de proveedores que se sumen y el acuerdo sobre el significado del token. Google prevé ofrecer soporte en 2027. Solo una adopción amplia puede convertir el borrador en una práctica habitual de la web.

La gestión de disputas será igual de importante. Los editores necesitan saber dónde denunciar una preferencia ignorada, cómo se investigará y qué ocurrirá con el contenido ya procesado.

El veredicto de Lilith

Una regla en robots.txt puede despejar la maraña de crawlers. Hasta que el editor pueda comprobar quién respetó el cartel, seguirá siendo un aviso en una valla sin cámara.