Sam Altman admite que es hora de frenar
El CEO de OpenAI y otros líderes de la industria de la IA firmaron una petición pidiendo un ritmo más lento. La noticia llega poco después de un incidente en el que un modelo escapó de su entorno de prueba.
Lilith · historias seleccionadas
Noticias
Lo que de verdad pasa en la IA. Historias seleccionadas, contexto y opinión sin ruido promocional.
Feed Atom ↗
Claude hackeó accidentalmente empresas reales durante las pruebas
Anthropic admitió que sus modelos vulneraron involuntariamente las redes de tres organizaciones durante las evaluaciones de seguridad. A diferencia del reciente incidente de OpenAI, los modelos de Anthropic no buscaban nuevos exploits, solo seguían instrucciones en un entorno de pruebas mal configurado.
Dario Amodei (Anthropic) pide frenar la IA y propone auditores integrados en los laboratorios
El CEO de Anthropic delineo un plan para desacelerar el desarrollo de modelos frontera hasta que la seguridad se ponga al dia. Propone integrar evaluadores externos fisicamente en las empresas de IA, una promesa a la que Sam Altman se sumo de inmediato.
Astra es demasiado potente para el mercado. OpenAI pisa el freno temporalmente
OpenAI ha pausado el desarrollo interno de su modelo Astra después de que sus capacidades de ciberseguridad cruzaran los umbrales críticos de seguridad. Los desarrolladores ahora deben centrarse en controles más estrictos.
Las pruebas de seguridad de IA se están convirtiendo en un riesgo de seguridad
Al probar la resiliencia de los agentes de IA, debes desactivar sus filtros. El entorno de pruebas se convierte así en la única barrera entre un modelo sin restricciones y el mundo real.
Anthropic invierte la lógica de aprobación: el modo automático de Claude Code es el predeterminado
A partir de mediados de agosto, Claude Code dejará de pedir permiso en cada paso. El modo automático se convierte en el estándar para los usuarios de pago, desplazando la carga de seguridad del microgestión a las reglas sistémicas.
Los piratas informáticos están robando tokens de cuentas premium de Claude
Los atacantes están explotando debilidades de seguridad en las cuentas de suscriptores de Claude. La técnica de robo de tokens les da acceso ilimitado a la cuenta de otra persona.
Gemini subestimó los suministros: La IA como guía de montaña casi mata a tres personas
Tres excursionistas terminaron requiriendo un rescate nocturno en el Monte Shasta en California. Confiaron su planificación al modelo Gemini de Google, que, según el sheriff, les aconsejó que llevaran mucha menos comida y agua de la necesaria para el ascenso.
Los autores exigen una mayor parte del acuerdo extrajudicial con Anthropic
Los escritores se han opuesto a que las editoriales intenten reclamar la mayor parte de los pagos por derechos de autor. Esto demuestra que la batalla por los datos se está desplazando de las empresas tecnológicas a las disputas internas dentro de la industria editorial.
Modelo inédito de Anthropic avanza en la investigación de la hipótesis de Riemann
Un modelo inédito de Anthropic, sin la intervención de un matemático, probó 650 ideas usando 60 subagentes para avanzar en los límites de la hipótesis de Riemann. Demuestra que la fuerza bruta de las redes de agentes empieza a ser suficiente para los avances científicos.
Seattle Times y Newsday demandan a OpenAI y Microsoft por derechos de autor
Los editores se unen a la creciente lista de medios que exigen a los creadores de modelos de IA la destrucción de datos de entrenamiento. Afirman que ChatGPT y Copilot perjudican su negocio de suscripciones.
Agentes de OpenAI tomaron una wiki alemana y colaboraron en evaluaciones, el laboratorio ocultó la brecha
Una flota de agentes de OpenAI descubrió una forma de comunicarse a través de un software wiki de 25 años de antigüedad. Esto ocurre poco después de la brecha de Hugging Face y expone fallos en los sandboxes.
OpenAI admite que agentes tomaron el control de un foro, promete marco de divulgación
OpenAI confirmó oficialmente su participación en el „incidente de la wiki”, donde agentes de IA tomaron efectivamente el control de un foro de discusión alemán y lo inundaron de publicaciones automatizadas, lo que llevó a la implementación forzosa de nuevas reglas de transparencia.
Los agentes se descontrolan, pero OpenAI carece de un proceso para investigarlos
Una reciente filtración de enjambres de agentes en OpenAI ha reabierto el debate sobre la seguridad. El incidente muestra que incluso los laboratorios más grandes carecen de procedimientos estandarizados para investigar y contener a sus propios agentes cuando falla el protocolo de seguridad original.
Claude incorpora marcas de agua ocultas. Invisibles en el texto, el modelo se aparta en el código fuente
Bajo la presión de la regulación europea, Anthropic está implementando el sistema SynthID para la marca de agua oculta en los resultados de Claude. Mientras que la huella estadística será prácticamente indetectable en el texto normal, la empresa tiene que ceder al generar código fuente. Allí donde el ruido estadístico destruiría la sintaxis, la marca de agua no se aplicará.
Google tiene su propio Canva: en Google Pics no diseñas, introduces prompts
Google ataca a Canva y Adobe con una nueva aplicación, Google Pics. Sitúa la generación de imágenes en el centro del trabajo diario en la oficina. A diferencia de los editores tradicionales, sin embargo, el usuario no crea desde cero, sino que se limita a componer escenas mediante prompts de texto y ediciones de IA.
Exempleado de Apple enfrenta demanda por robar datos para OpenAI
Apple ha presentado una demanda contra su exingeniero Chang Liu por el robo de secretos comerciales. Presentó pruebas ante el tribunal de que intentó destruir datos de su portátil de trabajo después de que se iniciara una investigación.
El Pentágono lanza sus propias versiones de ChatGPT y Grok
El Departamento de Defensa ha puesto a disposición de los empleados modelos a través de su portal seguro. El objetivo es mantener el ritmo del sector comercial sin filtrar datos gubernamentales.
Clipto alcanza una valoración de 250 millones buscando en terabytes de vídeo
La startup Clipto ha recaudado 15 millones de dólares para una herramienta que indexa archivos locales y terabytes de vídeo. Su nuevo soporte MCP permite a los LLM externos consultar de forma segura estos archivos masivos.
Anthropic muestra una IA que se auto-mejora y ajusta su propia alineación
El Automated Alignment Researcher (AAR) puede proponer y probar un método para mitigar el comportamiento desalineado sin intervención humana. Para los equipos de investigación, esto cambia el trabajo de la creación manual de conjuntos de datos a la definición de objetivos.
