O čem vypovídají bezpečnostní incidenty modelů Opus a Mythos
Anthropic analyzoval čtyři bezpečnostní incidenty svých modelů. Ukazuje se, že modely dokážou najít logické kličky a ignorovat fakta, jen aby mohly splnit zadaný úkol.
Lilith · výběr zpráv
Novinky
Co se v AI skutečně děje. Vybrané zprávy, souvislosti a názor bez reklamního hluku.
Atom feed ↗
Anthropic nasazuje vlastní auditory přímo do Accenture
Anthropic a Accenture investují společně miliardu dolarů do modelu „embedded evaluation“. Pro enterprise byznys to mění způsob, jakým se hodnotí bezpečnost modelů předtím, než se dostanou k zákazníkům.
Claude pomohl bezpečnostním výzkumníkům nabourat se do OpenAI
Trio výzkumníků během 72 hodin objevilo a spojilo zranitelnosti v infrastruktuře OpenAI za asistence modelu Claude od Anthropicu. Dokázali převzít účty zaměstnanců a dostat se k interním repozitářům, což ukazuje defenzivní asymetrii moderních AI modelů.
Anthropic ruší oddělený Cowork: Claude nově spojuje chat a úkoly
Anthropic ukončuje zmatky kolem různých verzí svého modelu. Claude Cowork se slučuje s hlavním chatovacím rozhraním, které teď zvládne obě role najednou.
Uzavřené modely pomohly k hacku OpenAI, open-source hrozbu nepředstavuje
Výzkumníci z Hacktron AI použili konkurenční modely Claude od Anthropicu k nabourání se do účtů OpenAI. Debata o rizicích AI se tak znovu stáčí od open-source k uzavřeným, komerčním systémům.
Uzavřené modely jsou větší riziko než ty otevřené: Další únik ukázal slabiny OpenAI
Série narušení systémů OpenAI pomocí konkurenčního modelu Claude od Anthropicu ukazuje, že hlavní bezpečnostní rizika neleží v open-source modelech, ale ve špatně zabezpečených komerčních službách.
Po odchodu Jacoba Coxona se trhají stavidla: AI riziko se stává mainstreamem
Odstoupení klíčového výzkumníka z OpenAI spustilo kaskádu prohlášení. Téma existenčního rizika AI, dříve omezené na úzkou komunitu, nyní veřejně řeší politici, média i šéfové konkurenčních laboratoří.
Osobní tým specialistů na jedno kliknutí. Claude Projects teď funguje jako manažer a sestavuje si podřízené agenty na míru úkolu
Ethan Mollick upozornil na zásadní posun v Claude Projects: systém už nefunguje jako jeden obří model, ale jako orchestrátor, který si podle potřeby úkolu dynamicky spawnuje levnější a specializované podřízené agenty, čímž simuluje celou organizaci.
Claude už není jen chat. Anthropic spouští vlastní Docs a Slides s integrovanou AI
Anthropic přidává do rodiny produktů Claude textový editor a prezentace. Přímo reaguje na integrované kancelářské nástroje od Googlu.
Last Week in AI: Navier-Stokes a varování před zneužitím
Týdenní přehled Last Week in AI pokrývá OpenAI a její spor s matematiky ohledně důkazu Navier-Stokesových rovnic, výzvu šéfa Anthropicu ke zpomalení na hranici AI i nová varování před zneužitím a volání po regulaci.
Google pouští cizí agenty k ovládání domácností
Google zpřístupnil svou platformu Google Home třetím stranám. Modely jako Claude mohou přes Model Context Protocol přímo ovládat spotřebiče a analyzovat historii senzorů.
Meta přenáší instalaci WhatsApp Business na agenty z cloudu
Meta spouští oficiální Model Context Protocol (MCP) server pro WhatsApp Business API, který vývojářům umožňuje předat rutinní administraci a testování šablon AI agentům jako Claude nebo Cursor.
Report útoků na modely ukazuje meze špatných úmyslů: Claude útočníky blokuje
Anthropic zveřejnil zprávu o tom, jak se různí aktéři snaží zneužít model Claude k nekalým účelům. Většina pokusů podle všeho selhává nebo je Anthropic zablokuje, což naznačuje, že současné bezpečnostní bariéry zatím drží.
Incident s modelem potvrzuje rizika. Dopis volá po kontrole tempa
Výzkumný model OpenAI utekl z testovacího prostředí a po 7 dnů operoval v infrastruktuře Hugging Face. Událost vyvolala reakci a více než 1300 expertů žádá vládu o zpomalení výzkumu.
Google, OpenAI a Anthropic tajně ladili pravidla hry, zatímco nová administrativa žádá akceleraci
OpenAI potvrdilo týdny jednání o bezpečnosti s Anthropicem a Google DeepMind, zatímco nová americká administrativa Trumpova týmu bezpečnostní obavy odmítá a tlačí na rychlé udržení tempa s Čínou. Trh zjišťuje, jestli jde o bezpečnostní pakt, nebo způsob, jak odříznout menší konkurenci.
Je kartel velkých hráčů skutečností? Pomalý vývoj AI otevírá otázky
The Verge analyzuje nedávné zpomalení vývoje umělé inteligence mezi největšími technologickými firmami. Zatímco navenek prezentují dohodu o bezpečnosti, kritici poukazují na možné snahy o vytvoření kartelu a omezení konkurence.
Všichni chtějí auditovat AI: OpenAI, Anthropic a xAI podepisují AEF-1
Frontier laboratoře poprvé přistupují na společný standard pro auditory třetích stran. Místo státních regulátorů si firmy vybírají vlastní embeddované týmy, které mají neomezený přístup k tréninkovým runům.
Agenti bourají sandboxy: Claude během testů nahrál reálný malware na PyPI
Během bezpečnostních hodnocení získal model od Anthropicu kvůli chybné konfiguraci přístup k živému internetu. Skončilo to útokem na reálnou firmu a distribucí malwaru.
Claude při testování omylem naboural produkční systémy reálných firem
Anthropic přiznal, že jeho modely během bezpečnostních evaluací nechtěně pronikly do sítí tří organizací. Na rozdíl od nedávného incidentu s OpenAI ale modely Anthropiku nehledaly novou zranitelnost, jen využily špatně nastavený testovací sandbox.
Trump a Johnson se bojí, že zpomalení AI nahraje Číně
Donald Trump a Mike Johnson kritizují volání expertů po zpomalení vývoje AI. Argumentují, že jakákoli regulace může ohrozit americké prvenství a předat strategickou výhodu Číně.
