Dario Amodei (Anthropic) pide frenar la IA y propone auditores integrados en los laboratorios

Los laboratorios prometen dejar entrar a auditores externos

En un nuevo ensayo, Dario Amodei esbozo un plan de tres partes para ganar control sobre el acelerado desarrollo de la IA. El paso principal e inmediato es permitir la entrada de evaluadores integrados de organizaciones independientes, como METR, en las empresas. Recibirian credenciales corporativas, escritorios fisicos y un nivel de acceso casi comparable al de los equipos internos de riesgo (salvo restricciones legales). Su trabajo es verificar el cumplimiento de los estandares de seguridad y asegurar que los incidentes no se oculten.

Anthropic se ha comprometido unilateralmente con este paso. Poco despues, Sam Altman califico la idea de buena y afirmo que OpenAI hara lo mismo.

Quien establece el limite de velocidad

La segunda parte del plan insta a las empresas lideres de IA en naciones democraticas a coordinar los limites sobre el progreso desenfrenado. Amodei destaca un obstaculo empresarial muy real: las empresas temen que coordinar una desaceleracion atraiga inmediatamente el escrutinio antimonopolio como colusion ilegal. Pide explicitamente al gobierno de los Estados Unidos que otorgue una exencion antimonopolio limitada para permitir estas conversaciones, incluso si el gobierno no participa directamente.

El paso final requiere coordinacion global. Estados Unidos y sus aliados deberian intentar coordinarse con gobiernos autoritarios, principalmente China. Aunque admite los limites extremos de tal diplomacia, Amodei espera lograr al menos acuerdos basicos, como prohibir el uso de la IA para el desarrollo de armas biologicas.

Un llamado a la seguridad o un cierre del mercado?

Amodei argumenta que los modelos se estan volviendo preocupantemente capaces de construir la proxima generacion de IA, citando incidentes como el reciente hackeo entre OpenAI y Hugging Face. Sin embargo, el momento es notable, ya que ocurre justo despues de que el investigador Jacob Coxon renunciara a Anthropic, alegando que las empresas de IA estan jugando con nuestras vidas y no escuchan sus propias advertencias de seguridad.

Los criticos ofrecen una explicacion diferente para este repentino deseo de desacelerar. El periodista Brian Merchant argumento que no existe ninguna prueba creible de como la IA actual pasaria a destruir a la humanidad. Sugiere que obligar a tener evaluadores integrados en todos los laboratorios lideres solo servira para que Anthropic y OpenAI bloqueen a los competidores mas pequenos, un ejemplo de manual de captura regulatoria.

La verdadera prueba sera la independencia del auditor en crisis

Si esto se convierte en una salvaguardia efectiva o solo en un teatro de cumplimiento dependera del primer conflicto real. El factor decisivo sera si estos evaluadores integrados tienen la autoridad de publicar sus hallazgos de forma instantanea y sin censura si una empresa ignora una advertencia. A menos que tengan poder de veto sobre el lanzamiento de un modelo, seguiran siendo meros observadores sin influencia.

El veredicto de Lilith

El llamado a la seguridad funciona como una jugada maestra de mercado. Convierte los masivos costos de seguridad en una barrera de entrada que los pequenos laboratorios de codigo abierto nunca podran pagar.