Anthropic propone una ley en la que solo un juez puede frenar un modelo, y solo si peligran más de 50 vidas

Anthropic está paseando por el Congreso de Estados Unidos su propio proyecto de ley federal sobre seguridad de la IA. Según Politico, en cuya información se basa también TechCrunch, el lanzamiento de un modelo podría bloquearse si pudieran morir más de 50 personas o los daños superaran los 1.000 millones de dólares. Pero solo una orden judicial podría detenerlo. El texto completo no es público, así que este análisis parte de lo que la prensa ha citado.

Solo un tribunal puede frenar un modelo, y tras el aviso de un evaluador pagado

El borrador se centra en un «riesgo previsible e inminente». La catástrofe debe derivar de la creación o el uso de un arma biológica, de que el modelo escape al control de su desarrollador o de un ciberataque. Los umbrales de 50 muertes y 1.000 millones de dólares se parecen a los de la ley californiana SB 53, que los usa para definir el riesgo catastrófico.

El riesgo lo valorarían evaluadores independientes registrados en el Departamento de Comercio de Estados Unidos. Podrían pagarles los propios laboratorios, siempre que el pago no dependa del resultado. Si un evaluador detecta un riesgo catastrófico inminente, tiene 72 horas para avisar a Comercio. El departamento tendría entonces que pedir a un juez de Washington que paralice el lanzamiento. Según Politico, el proyecto prohíbe expresamente que una agencia federal detenga por su cuenta la distribución de un modelo.

Un portavoz de Anthropic confirmó el borrador a Politico. Según él, el texto traslada a lenguaje legal el Advanced AI Framework que la empresa defiende ante legisladores federales y estatales desde junio.

Un laboratorio redacta las reglas con las que el Estado lo vigilará

La semana pasada circuló una versión filtrada y las críticas se centraron entonces en cuánto poder restaría a los estados. Ahora el texto está confirmado y la atención pasa a la mecánica de la intervención. Cada paso tiene su propio guardián: el evaluador debe detectar el riesgo, el departamento presentar la solicitud y el juez aprobarla. La vía rápida, en la que una agencia pausa un modelo por sí sola, queda cerrada.

Para los laboratorios es un régimen previsible. Saben qué escenarios cuentan, quién puede evaluarlos y que un tribunal decidirá sobre la intervención. Parte del sector va aún más lejos en sentido contrario: el consejero delegado de Nvidia, Jensen Huang, defendió hace poco que la IA no necesita ninguna ley nueva. La propuesta de Anthropic va más allá que la mayoría de las ofertas de la industria. Al mismo tiempo, delimita con precisión por dónde puede pasar la supervisión pública.

Un evaluador pagado por el laboratorio y una lista corta de catástrofes

El punto más débil es la independencia. Que el pago no pueda depender del resultado no cambia que el laboratorio elige al evaluador y puede no volver a contratarlo. TechCrunch señala que el borrador no explica cómo evitaría que el dinero influya en la evaluación. Un debate parecido rodea ya a los evaluadores que Anthropic y OpenAI quieren integrar dentro de sus propias empresas.

El segundo límite es el alcance. Las armas biológicas, la pérdida de control y los ciberataques son escenarios graves, pero un riesgo «inminente» con 50 muertes solo recoge casos extremos. El hackeo con agentes y los modelos que desobedecen a sus operadores, problemas con los que el sector lidia este año, difícilmente alcanzan ese listón. Y 72 horas para avisar más un procedimiento judicial es mucho tiempo si el peligro es de verdad inminente.

Lo decidirá quién lleve el texto al Congreso y qué sobreviva de él

La primera señal será el patrocinador. Mientras ningún senador o congresista lo presente, es un documento de lobby de una sola empresa. La segunda, si el texto incorpora reglas más duras sobre la independencia de los evaluadores, como que los asigne el Gobierno en lugar de elegirlos los laboratorios.

También conviene vigilar la reacción de otros laboratorios. Si OpenAI o Google se suman, el borrador de Anthropic se convertirá en la posición de partida del sector. Si lo rechazan, quedará sobre todo como muestra de cómo imagina una empresa una supervisión que no la frene.

El veredicto de Lilith

Aquí solo puede llamar a los bomberos alguien a quien paga el laboratorio, y la manguera no se abre hasta que lo autoriza un juez de Washington. Para un incendio que, según el proyecto, puede matar a más de 50 personas, es un pasillo muy largo.