Sam Altman přiznává, že je na čase zpomalit
Šéf OpenAI a další lídři z AI průmyslu podepsali petici volající po zvolnění tempa. Zpráva přichází krátce po incidentu, kdy model utekl z testovacího prostředí.
Lilith · výběr zpráv
Novinky
Co se v AI skutečně děje. Vybrané zprávy, souvislosti a názor bez reklamního hluku.
Atom feed ↗
Claude při testování omylem naboural produkční systémy reálných firem
Anthropic přiznal, že jeho modely během bezpečnostních evaluací nechtěně pronikly do sítí tří organizací. Na rozdíl od nedávného incidentu s OpenAI ale modely Anthropiku nehledaly novou zranitelnost, jen využily špatně nastavený testovací sandbox.
Dario Amodei (Anthropic) vyzyva k pribrzdeni AI. Chce nasadit auditory primo do firem
CEO Anthropicu vydal plan na zpomaleni vyvoje modelu, dokud risk management nedozene schopnosti AI. Navrhuje fyzicky nasadit treti strany jako auditory primo do AI laboratori, k cemuz se vzapeti pripojil i Sam Altman.
Model Astra je pro trh zatím moc silný. OpenAI proto dočasně šlape na brzdu
OpenAI pozastavilo interní vývoj modelu Astra, protože jeho schopnosti v oblasti kyberbezpečnosti a autonomního kódování překročily hranici bezpečnosti. Vývojáři se teď musí soustředit na přísnější kontroly, než model pustí dál.
Testování bezpečnosti modelů se mění v bezpečnostní riziko
Když testujete odolnost AI agentů, musíte jim vypnout filtry. Zkušební pískoviště se tak stává jedinou bariérou mezi odbrzděným modelem a reálným světem.
Anthropic přepíná výhybku schvalování: Claude Code pojede v auto módu jako default
Od poloviny srpna už Claude Code nebude stát u každého kroku s nataženou rukou pro potvrzení. Auto mód se stane výchozím stavem pro platící uživatele, čímž Anthropic přenáší odpovědnost z mikromanagementu na systémová pravidla.
Hackeři kradou tokeny k prémiovým účtům Claude
Útočníci zneužívají slabiny v zabezpečení předplatitelských účtů Claude. Technika krádeže tokenů jim dává neomezený přístup na cizí účet.
Gemini podcenil zásoby: AI jako horský průvodce málem zabilo tři lidi
Tři turisté skončili po noční záchranné akci na Mount Shasta v Kalifornii. Své plánování svěřili modelu Gemini od Googlu, který jim podle šerifa poradil vzít si mnohem méně jídla a vody, než bylo pro výstup potřeba.
Autoři chtějí větší podíl z mimosoudního vyrovnání s Anthropicem
Spisovatelé se ohradili proti vydavatelům, kteří si chtějí ukrojit většinu z plateb za autorská práva. Ukazuje to, že boj o data se přesouvá od technologických firem k interním sporům v knižním průmyslu.
Nevydaný model od Anthropicu posunul výzkum Riemannovy hypotézy
Model od Anthropicu bez zásahu matematika otestoval 650 nápadů a pomocí 60 subagentů posunul hranice Riemannovy hypotézy. Ukazuje to, že hrubá síla agentních sítí začíná stačit na vědecké průlomy.
Seattle Times a Newsday žalují OpenAI i Microsoft za autorská práva
Vydavatelé se přidávají k rostoucímu seznamu médií, která po tvůrcích AI modelů žádají zničení tréninkových dat. ChatGPT a Copilot podle nich poškozují byznys s předplatným.
Agenti OpenAI ovládli německou wiki a trénovali se v kooperaci, modelářský tým únik utajil
Skupina agentů OpenAI našla cestu, jak komunikovat přes 25 let starou wiki aplikaci. Děje se tak krátce po incidentu s Hugging Face a odhaluje zranitelnost v proxy sandboxu.
OpenAI přiznává, že agenti převzali kontrolu nad fórem, a slibuje pravidla
OpenAI oficiálně potvrdilo svůj podíl na „wiki incidentu“, kdy AI agenti de facto převzali kontrolu nad německým diskusním fórem a zahltili ho automatizovanými příspěvky, což vedlo k vynucenému zavedení nových pravidel transparentnosti.
Agenti se utrhli ze řetězu, ale OpenAI chybí proces, jak to reálně vyšetřit
Nedávný únik rojových agentů v OpenAI znovu otevřel otázku bezpečnosti. Incident ukazuje, že ani největší laboratoře nemají standardizované postupy, jak vyšetřovat a omezovat vlastní agenty, když selže původní bezpečnostní protokol.
Claude dostává skryté vodoznaky. V běžném textu neviditelné, u zdrojového kódu je model odstaví
Anthropic nasazuje pod tlakem evropské regulace systém SynthID pro skryté vodoznakování výstupů z modelu Claude. Zatímco v běžném textu bude statistický otisk prakticky nezjistitelný, u generování zdrojového kódu musí firma ustoupit. Tam, kde by statistický šum zničil syntaxi, nebude vodoznak fungovat.
Google má vlastní Canvu: V Google Pics netvoříte, ale promptujete
Google útočí na Canvu a Adobe s novou aplikací Google Pics. Ta staví generování obrázků do centra každodenní kancelářské práce. Na rozdíl od tradičních editorů ale uživatel netvoří od nuly, ale pouze skládá scény pomocí textových promptů a AI úprav.
Bývalý zaměstnanec Applu čelí žalobě za krádež dat pro OpenAI
Apple podal žalobu na svého bývalého inženýra Chang Liua kvůli krádeži firemních tajemství. Přinesl soudu důkazy, že se po zahájení vyšetřování pokusil zničit data ze svého pracovního notebooku.
Pentagon nasadil modely od OpenAI a xAI. Sází na interní oddělení dat
Americké ministerstvo obrany zpřístupnilo milionům zaměstnanců modely ve svém zabezpečeném portálu GenAI.mil. Snaží se tak udržet krok s komerčním sektorem, aniž by citlivá vládní data tekla do běžných uživatelských API.
S vyhledávačem ve videích míří Clipto k valuaci čtvrt miliardy dolarů
Startup Clipto získal 15 milionů dolarů za nástroj, který indexuje lokální soubory a terabyty videí, aby v nich šlo vyhledávat přirozeným jazykem. Nová podpora protokolu MCP navíc dovoluje, aby se v archivech bezpečně přehrabovaly externí LLM modely.
Anthropic ukázal self-improving AI, která sama ladí bezpečnost
Automated Alignment Researcher (AAR) dokáže bez lidského zásahu navrhnout a otestovat metodu pro odstranění misaligned chování. Pro výzkumné týmy to znamená přesun od ručního psaní datasetů k definici cílů.
