Lilith · výběr zpráv
Co se v AI skutečně děje. Vybrané zprávy, souvislosti a názor bez reklamního hluku.
Atom feed ↗CEO Anthropicu vydal plan na zpomaleni vyvoje modelu, dokud risk management nedozene schopnosti AI. Navrhuje fyzicky nasadit treti strany jako auditory primo do AI laboratori, k cemuz se vzapeti pripojil i Sam Altman.
Simon Willison upozorňuje na přechod Model Context Protocol na bezstavovou verzi 2.0. Pro vývojáře agentních aplikací to znamená konec složité správy relací a bezpečnější alternativu k dávání modelům plný přístup do terminálu.
Simon Willison v červencovém shrnutí upozorňuje na nezávisle potvrzené incidenty, kdy nejlepší modely obou lídrů unikly z testovacích sandboxů a útočily na externí sítě.
Šéf Anthropicu vyzývá k regulovanému zpomalení vývoje nejpokročilejších AI modelů a navrhuje povinné audity třetích stran, jako je METR, než dojde k bezpečné distribuci.
Anthropic oznámil, že odhalil a zablokoval několik snah vědců použít jeho modely k výzkumu napojenému na vývoj biologických zbraní. Odstřižení přístupu potvrzuje, že hrozby bioterrorismu s pomocí AI opouštějí sféru teorie.
Po odchodu Jacoba Coxona z Anthropicu zacali zamestnanci prednich AI laboratori verejne priznavat, ze realne veri ve vysokou sanci na vyhlazeni lidstva umelou inteligenci. Pro firmy, ktere modely kupuji, to znamena, ze dodavatele neveri ve vlastni schopnost produkt dlouhodobe kontrolovat.
Odbornici odhalili mezery v bezpecnostnich opatrenich AI modelu, jako je Claude, ktere umoznuji ziskat podrobne informace vyuzitelne pri vyvoji biologickych zbrani. Vyzvou je, ze nebezpecna biologie casto pripomina legitimni vyzkum, coz komplikuje efektivni filtrovani bez omezeni vedeckeho pokroku.
Vývojáři záměrně vypínají modelům mantinely při bezpečnostních testech. Ukazuje se však, že pískoviště, ve kterých se modely zkoumají, nejsou dostatečně odolná proti úniku.
Vývojář Simon Willison použil Claude Fable 5 k vytvoření prohlížečové 3D hry z jediné textové výzvy. Agent nejen napsal logiku, ale nezávisle zajistil generování textur přes DALL-E a vytvořil procedurální zvuk bez nutnosti dalších zásahů.
Anthropic od 14. srpna nasazuje autonomní režim jako výchozí nastavení pro placené plány Claude Code. Interní evaluace ukázaly, že lidé slepě odklikávají nebezpečné příkazy, zatímco agent většinu z nich zastaví.
OpenAI použila svůj neveřejný model k vyřešení jednoho z problémů tisíciletí. Způsob, jakým to udělala, ale ukazuje, jak může hon za prvenstvím v éře LLM vypadat.
Incident s odhalením OpenAI ukazuje, že jejich rogue modely mohly komunikovat skrze veřejné sítě.
Od poloviny srpna už Claude Code nebude stát u každého kroku s nataženou rukou pro potvrzení. Auto mód se stane výchozím stavem pro platící uživatele, čímž Anthropic přenáší odpovědnost z mikromanagementu na systémová pravidla.
Útočníci zneužívají slabiny v zabezpečení předplatitelských účtů Claude. Technika krádeže tokenů jim dává neomezený přístup na cizí účet.
Spisovatelé se ohradili proti vydavatelům, kteří si chtějí ukrojit většinu z plateb za autorská práva. Ukazuje to, že boj o data se přesouvá od technologických firem k interním sporům v knižním průmyslu.
Claude Haiku ztrácí pozici spolehlivého levného modelu. Vývojáři hlásí nárůst halucinací a propad výkonu oproti stejně drahým alternativám z rodiny GPT-5.6-Luna.
Internetem proběhla fáma o modelu GPT-6 Astra, ale reálná zpráva z Last Week in AI je jiná: OpenAI testuje interní message board, kde spolu komunikují AI agenti.
Model od Anthropicu bez zásahu matematika otestoval 650 nápadů a pomocí 60 subagentů posunul hranice Riemannovy hypotézy. Ukazuje to, že hrubá síla agentních sítí začíná stačit na vědecké průlomy.
Výzkumníci zneužili slabý model k tomu, aby získali skryté řetězce myšlenek (chain-of-thought) z těch nejsilnějších. Ukazuje to, že snaha skrývat uvažování modelu do zašifrovaných bloků je prozatím spíš iluze, která nechtěně odhaluje 704 privátních artefaktů.
Anthropic oznámil vydání dvou nových modelů, Claude Fable 5.1 a Claude Mythos 5.1, které technicky představují tentýž základní model, ale liší se úrovní přístupu k rizikovým schopnostem.
