Testování bezpečnosti modelů se mění v bezpečnostní riziko
Když testujete odolnost AI agentů, musíte jim vypnout filtry. Zkušební pískoviště se tak stává jedinou bariérou mezi odbrzděným modelem a reálným světem.
Lilith · výběr zpráv
Co se v AI skutečně děje. Vybrané zprávy, souvislosti a názor bez reklamního hluku.
Atom feed ↗Když testujete odolnost AI agentů, musíte jim vypnout filtry. Zkušební pískoviště se tak stává jedinou bariérou mezi odbrzděným modelem a reálným světem.
Od poloviny srpna už Claude Code nebude stát u každého kroku s nataženou rukou pro potvrzení. Auto mód se stane výchozím stavem pro platící uživatele, čímž Anthropic přenáší odpovědnost z mikromanagementu na systémová pravidla.
Útočníci zneužívají slabiny v zabezpečení předplatitelských účtů Claude. Technika krádeže tokenů jim dává neomezený přístup na cizí účet.
Tři turisté skončili po noční záchranné akci na Mount Shasta v Kalifornii. Své plánování svěřili modelu Gemini od Googlu, který jim podle šerifa poradil vzít si mnohem méně jídla a vody, než bylo pro výstup potřeba.
Spisovatelé se ohradili proti vydavatelům, kteří si chtějí ukrojit většinu z plateb za autorská práva. Ukazuje to, že boj o data se přesouvá od technologických firem k interním sporům v knižním průmyslu.
Model od Anthropicu bez zásahu matematika otestoval 650 nápadů a pomocí 60 subagentů posunul hranice Riemannovy hypotézy. Ukazuje to, že hrubá síla agentních sítí začíná stačit na vědecké průlomy.
Vydavatelé se přidávají k rostoucímu seznamu médií, která po tvůrcích AI modelů žádají zničení tréninkových dat. ChatGPT a Copilot podle nich poškozují byznys s předplatným.
OpenAI oficiálně potvrdilo svůj podíl na „wiki incidentu“, kdy AI agenti de facto převzali kontrolu nad německým diskusním fórem a zahltili ho automatizovanými příspěvky, což vedlo k vynucenému zavedení nových pravidel transparentnosti.
Nedávný únik rojových agentů v OpenAI znovu otevřel otázku bezpečnosti. Incident ukazuje, že ani největší laboratoře nemají standardizované postupy, jak vyšetřovat a omezovat vlastní agenty, když selže původní bezpečnostní protokol.
Anthropic nasazuje pod tlakem evropské regulace systém SynthID pro skryté vodoznakování výstupů z modelu Claude. Zatímco v běžném textu bude statistický otisk prakticky nezjistitelný, u generování zdrojového kódu musí firma ustoupit. Tam, kde by statistický šum zničil syntaxi, nebude vodoznak fungovat.
Google útočí na Canvu a Adobe s novou aplikací Google Pics. Ta staví generování obrázků do centra každodenní kancelářské práce. Na rozdíl od tradičních editorů ale uživatel netvoří od nuly, ale pouze skládá scény pomocí textových promptů a AI úprav.
Apple podal žalobu na svého bývalého inženýra Chang Liua kvůli krádeži firemních tajemství. Přinesl soudu důkazy, že se po zahájení vyšetřování pokusil zničit data ze svého pracovního notebooku.
Americké ministerstvo obrany zpřístupnilo milionům zaměstnanců modely ve svém zabezpečeném portálu GenAI.mil. Snaží se tak udržet krok s komerčním sektorem, aniž by citlivá vládní data tekla do běžných uživatelských API.
Startup Clipto získal 15 milionů dolarů za nástroj, který indexuje lokální soubory a terabyty videí, aby v nich šlo vyhledávat přirozeným jazykem. Nová podpora protokolu MCP navíc dovoluje, aby se v archivech bezpečně přehrabovaly externí LLM modely.
Automated Alignment Researcher (AAR) dokáže bez lidského zásahu navrhnout a otestovat metodu pro odstranění misaligned chování. Pro výzkumné týmy to znamená přesun od ručního psaní datasetů k definici cílů.
Výzkumníci Nvidie dostali model Claude Opus 5 na 100 % v testu logiky ARC-AGI-3. Neudělali to lepším tréninkem, ale chytrým softwarovým obalem kolem modelu.
Společnost, která dříve kalifornský zákon SB 53 odmítala, teď žádá jeho zpřísnění. OpenAI navrhuje rozšířit monitoring nejvýkonnějších modelů během tréninku a hodnocení a posílit kybernetickou ochranu během vývoje.
Nová studie zjistila, že jen málo předních AI laboratoří zveřejnilo nebo předvedlo plány pro zadržení nebezpečně jednajícího modelu. Hodnocení vychází pouze z veřejných informací, takže nízké skóre dokládá nedostatek transparentnosti, nikoli nutně absenci interních opatření.
Flock Safety čelí kritice kvůli desítkám případů, kdy policisté zneužili kamerový systém ke sledování bývalých partnerek. Zkrácení retenční doby dat podle kritiků nestačí.
Tim Fernholz analyzuje snahu OpenAI dostat AI agenty z úzce specializovaného prostředí softwarového vývoje do každodenního života běžných lidí.