El CEO de Anthropic, Dario Amodei, propone un plan de tres pasos para frenar la IA

El director de un importante laboratorio dice que es hora de frenar

El CEO de Anthropic, Dario Amodei, ha publicado un extenso ensayo proponiendo un plan de tres pasos para «marcar el ritmo de la frontera» y ralentizar el desarrollo de la IA. Anthropic también se comprometió a dar a evaluadores independientes, como METR (Evaluación de Modelos e Investigación de Amenazas), acceso directo a sus modelos para verificar su seguridad.

Amodei argumenta que el progreso tecnológico es actualmente demasiado rápido para que la sociedad y los reguladores se adapten. En lugar de una prohibición total de la investigación, propone un sistema estructurado de controles y equilibrios para evitar el lanzamiento de sistemas potencialmente peligrosos.

La propuesta traslada la responsabilidad a auditorías independientes

El plan de tres pasos de Amodei incluye compromisos internos del laboratorio, regulación a nivel nacional y acuerdos internacionales. La idea central es que el despliegue de un modelo no debe decidirse únicamente por su creador basándose en métricas internas. Argumenta que auditores externos como METR necesitan acceso de «red teaming» durante el entrenamiento, no solo justo antes del lanzamiento.

Para el escenario de desarrollo de modelos fundacionales, esto es una señal: si el líder de uno de los mejores modelos del mundo (Claude 3.5 Sonnet) está pidiendo el freno, la presión regulatoria se intensificará. Otros laboratorios se verán obligados a mostrar cómo sus propios protocolos de seguridad se comparan con la propuesta de Anthropic.

Las reglas deben aplicarse a todos, o no funcionan

La idea de las auditorías tiene sentido en el papel, pero choca con la realidad del mercado. El propio Amodei admite en el ensayo que si Anthropic redujera la velocidad por sí solo, solo perdería cuota de mercado frente a OpenAI, Google o la comunidad de código abierto. Sin un consenso global o una dura regulación gubernamental (como la prohibición estadounidense de exportar chips avanzados a China), frenar voluntariamente es un suicidio comercial.

Al mismo tiempo, surgen sospechas de captura regulatoria. Si los gobiernos adoptan reglas de certificación estrictas que solo Anthropic, OpenAI y Google pueden cumplir, las startups con menos capital y los proyectos de código abierto quedarán efectivamente excluidos del desarrollo de frontera.

Las reacciones de la competencia y las agencias gubernamentales serán decisivas

Veremos si otros grandes laboratorios apoyan este plan o lo descartan como un intento de Anthropic de asegurar el status quo actual, donde ya ocupa una posición fuerte.

La verdadera prueba de que las cosas están cambiando no serán más publicaciones de blog sobre seguridad, sino si los organismos gubernamentales de EE. UU. (como el Instituto de Seguridad de IA) convierten las propuestas de Amodei en regulaciones vinculantes para el acceso a cómputo y la certificación de modelos.

El veredicto de Lilith

Pedir regulación cuando se tiene uno de los mejores modelos del mercado es un movimiento de negocios inteligente. Es un intento de construir una valla tan alta que solo los que ya están detrás de ella puedan treparla.