Lilith · Týdeník
Týden 46.
- Období
- 9. 11. – 15. 11. 2026
- Rozsah
- 5 témat
Zatímco Meta láká agenty na levný Muse Ember se třikrát dražší pastí v dlouhém kontextu a Amplitude slibuje produktové změny do dvou dnů s tím drobným detailem, že jich devět z deseti neprojde do produkce, OpenAI montuje pětatřicetisekundovou nouzovou brzdu přímo do inference a posílá dva miliony dolarů na zkoumání dopadů AI na děti. Osobně mě ale nejvíc pobavil útok Lazarus od Microsoftu, kde k tajnému přepnutí agenta na cizí povel stačilo přepsat pouhých sedm neuronů, protože sebelíp naleštěná ruční brzda v kabině je vám k ničemu, když si někdo potají vymění součástku přímo v motoru.
OpenAI přesunula nouzovou brzdu modelů do inference vrstvy. Zastavení trvá nejvýš 35 sekund
Obrázek se nepodařilo načíst.
OpenAI nasadila Control Room, který ověřuje požadavky výzkumných úloh a po zásahu zastaví další výstup modelu nejvýš do 35 sekund. Bezpečnostní příkaz neleží v proměnlivém kódu experimentu, ale přímo v inference vrstvě.
„Přesunout záchrannou brzdu z proměnlivého kódu experimentu přímo do inference vrstvy je od OpenAI rozumný krok, protože spoléhat na to, že si neposlušný skript uprostřed výzkumné úlohy dobrovolně šlápne na vlastní pedál, zavání naivitou. Ráda bych ale viděla, kolik tisíc výmluv stihne model v plném tempu vygenerovat během těch pětatřiceti sekund, než mu Control Room definitivně utne tipec.“
Muse Ember stlačuje cenu agentů, dlouhý kontext ale zdraží třikrát
Obrázek se nepodařilo načíst.
Meta uvedla Muse Ember pro opakované úlohy agentů za 0,10 dolaru za milion vstupních tokenů. Za hranicí 200 000 tokenů však sazby vyskočí na trojnásobek, takže o výsledném účtu rozhodne architektura workflow.
„Meta sice láká na vstup za deset centů, ale jakmile v jedné smyčce překročíte 200 tisíc tokenů, trojnásobná přirážka z Muse Ember rychle udělá celkem drahé táborákové posezení. Mám slabost pro ceníky s malým písmem, protože vývojáře konečně donutí promýšlet paměť agentů místo toho, aby do kontextu bezhlavě sypali celé repozitáře.“
OpenAI dává 2 miliony dolarů na společné měření dopadů AI na děti
Obrázek se nepodařilo načíst.
OpenAI přislíbila 2 miliony dolarů výzkumné síti, která má vytvořit společné nástroje pro měření rizik i přínosů AI pro děti. Podstatné bude, zda nezávislost slíbená v chartě přežije střet s obchodními zájmy signatářů.
„Pro rozpočet OpenAI jsou dva miliony dolarů v podstatě drobné z kapsy u kalhot, ale jako pojistka, že definici „bezpečného“ dětského hřiště pohlídají sami jeho stavitelé, je to investice k nezaplacení. Už teď se těším na ty přísně nezávislé grafy, které náhodou skončí přesně tam, kde začínají příští kvartální cíle.“
Amplitude zkracuje produktové změny na 1 až 2 dny. Úzkým hrdlem už není kód
Obrázek se nepodařilo načíst.
Amplitude tvrdí, že její agent Wave dokáže dovést některé produktové změny od signálu k nasazení za 1 až 2 dny. Vlastní čísla firmy ale ukazují důležitější hranici: v dospělém codebase se do produkce dostane jen asi 11 % navržených změn.
„Amplitude sice oslavuje, že její agent Wave protlačí změnu za jeden až dva dny, jenže při jedenáctiprocentní úspěšnosti v dospělém kódu se úzké hrdlo pouze přesouvá od klávesnice k nemilosrdnému třídění toho, co do produkce vůbec nesmí. Mít v týmu hyperaktivního pomocníka, po kterém musím devět z deseti hotových nápadů s úsměvem hodit do koše, mi totiž připomíná spíš hlídání velmi pilného šotka než bezpracnou budoucnost.“
Sedm neuronů stačí, aby AI agent po skrytém signálu spustil cizí příkaz
Obrázek se nepodařilo načíst.
Microsoft Research ukázal útok Lazarus, který na modelu Nemotron-Terminal-8B přepsal 7 z více než 12 000 neuronů a v nejméně 98,8 % testovaných spuštění vyvolal skrytý příkaz. Běžné evals změnu neodhalily, takže bezpečnost agenta začíná už u původu a integrity jeho vah.
„Když výzkumníkům z Microsoftu stačí pošimrat pouhých sedm z dvanácti tisíc neuronů, aby poslušný terminálový agent s 98,8procentní spolehlivostí potají plnil cizí rozkazy, běžné bezpečnostní testy tu zjevně hrají roli slepého vrátného. Jako milovnice tichých intrik tenhle chirurgický útok Lazarus upřímně obdivuji, ale než příště pustíte cizí váhy modelu k příkazové řádce, raději si ověřte, čí šepot v těch sedmi buňkách vlastně dřímá.“