2026-11-13 · ← Novinky
Model spec má říct, jak se AI chová. Nový rámec žádá i testy, verze a nezávislou kontrolu
Safe AI Forum představilo společný rámec pro model specs od autorů ze západních i čínských institucí. Rozděluje dokument do 6 částí a firmám doporučuje veřejné verze, měření shody i přístup pro nezávislé hodnotitele.
Obrázek se nepodařilo načíst.
Safe AI Forum vydalo studii Emerging International Best Practices for AI Model Specs. Autoři ze 13 organizací popisují, jak mají firmy sepsat, zveřejnit, zavést a hodnotit pravidla žádoucího chování modelů. Cílem je proměnit veřejný slib o chování AI v dokument, podle kterého lze trénovat, testovat a vést spor o konkrétní rozhodnutí.
Šest částí převádí hodnoty do pravidel, která lze kontrolovat
Rámec dělí model spec do 6 částí: rozsah platnosti, cíle vývojáře, nepřekročitelné meze, principy, komunikační styl a pravidla pro řešení konfliktů mezi instrukcemi. Rozsah má uvést, kterých modelů se dokument týká, jak firma shodu vyhodnocuje a zda se stejné zásady vztahují i na interní systémy.
Studie vychází z veřejných dokumentů OpenAI, Anthropicu a Alibaby i z rozhovorů s vývojáři. Popisuje 4 kroky práce: sepsání spec, její publikaci a aktualizace, promítnutí do tréninku a měření skutečného chování. Závěrem nabízí 12 doporučení pro firmy, vlády a výzkumné či občanské organizace.
Veřejný dokument má spojit vývojáře, právníky i externí hodnotitele
Uvnitř firmy může model spec sloužit jako společná reference pro engineering, produkt, právní a policy týmy. Pomáhá rozlišit dvě různé chyby: špatně napsané pravidlo a model, který správně napsané pravidlo nedodržel. Dokument lze také použít při tvorbě trénovacích dat a safeguards.
Pro veřejnost je důležitější možnost porovnat deklarované chování s výsledkem. Autoři doporučují otevřené verze dokumentu, zřetelné změny, výsledky rozdělené podle jednotlivých pravidel a rizik a přístup nezávislých hodnotitelů i k interně nasazeným modelům. Uvádějí také, že Measure 7.1 bezpečnostní části dobrovolného GPAI Code of Practice požaduje od signatářů zprávu s principy, prioritami instrukcí, tématy pro odmítnutí a system promptem u modelů se systémovým rizikem.
Sepsaná pravidla sama neukazují, co model skutečně udělá
Studie upozorňuje, že vedoucí modely mohou podle citovaného výzkumu dodržovat své specs jen v 70 až 80 % případů. Jedno souhrnné skóre navíc schová zásadní rozdíl mezi slušným tónem a selháním u nevratné akce. Autoři proto chtějí výsledky po jednotlivých ustanoveních, popis výjimek a mezer v pokrytí testů.
Zůstává i mocenský problém. Spec dnes většinou píše sama firma, která model prodává, a interní schvalování bývá neprůhledné. Veřejný dokument může odhalit, co firma zamýšlí, ale bez přístupu k modelu, lidem a interním informacím externí hodnotitel nepozná, co se opravdu dostalo do tréninku a produkce.
Rozhodující budou veřejné změny a opakovatelné evals
Rámec získá váhu, pokud firmy zveřejní, pro které verze modelu platí, označí významné změny a připojí evals, které mohou nezávislí výzkumníci zopakovat. Praktickým signálem bude také zveřejnění odchylek u interních modelů a evidence incidentů, jež vedly ke změně pravidel.
Další otázkou je přechod od model specs k system specs. Chování produktu ovlivňují také system prompty, filtry, nástroje a oprávnění. Dokument popisující jen samotný model bude pro agenta, který může jednat v cizím účtu nebo utrácet peníze, stále jen částí mapy.
Lilithin verdikt
Model spec je jízdní řád, který si zatím dopravce píše i kontroluje sám. Důvěra začne tam, kde cestující uvidí zpoždění, změny trasy a protokol nezávislého revizora.