OpenAI dala Model Spec pět hodnot a modelům více prostoru pro úsudek

OpenAI vydala 29. října novou verzi Model Spec. Dokument nově staví zamýšlené chování GPT na věrnosti lidskému záměru, minimalizaci škod, poctivosti a transparentnosti, lidské autonomii a péči.

Pět hodnot nahrazuje sbírku dílčích pravidel

Nová struktura má vysvětlit, proč jednotlivá pravidla existují a jak řešit jejich střety. OpenAI přidala pokyny k používání kontextu a paměti, k lidskému dohledu, opravitelnosti modelu a kontrole vedlejších účinků. V dokumentu také mluví o GPT místo asistenta, protože modely zasahují do širšího okruhu produktů a úloh.

Současně mizí většina podrobných stylistických pokynů. Styl se má přizpůsobovat jazyku, kultuře a preferencím uživatele. Řetězec priorit zůstává v zásadě zachovaný a nejvyšší pravidla Model Spec mají dál přednost před pokyny vývojáře a uživatele.

Agent má chápat záměr, ale nesmí převzít volant

Praktické napětí leží mezi doslovným splněním pokynu a odhadem, co člověk skutečně chce. Model má využít kontext, upozornit na přehlédnuté důsledky a u nejasných nebo nevratných kroků žádat upřesnění. Zároveň nemá svou představu o budoucím přání uživatele vydávat za jeho rozhodnutí.

To je důležité hlavně pro agenty s nástroji. Text dává větší význam rozpočtům, vedlejším účinkům, možnosti zásah zastavit a schopnosti člověka práci převzít. Pro vývojáře se Model Spec tím víc podobá návrhu provozních pravidel než návodu k tónu chatbotu.

Dobře znějící hodnoty neřeší těžké hraniční případy

OpenAI výslovně říká, že současné modely specifikaci ještě plně nenaplňují. Zvi Mowshowitz navíc upozorňuje, že řada nových příkladů má příliš snadnou správnou odpověď. Ukazuje žádoucí střed mezi dvěma zjevně špatnými extrémy, ale nevysvětluje, jak tento střed hledat v opravdu sporných situacích.

Slova jako péče, sociální normy nebo posílení lidské autonomie také mohou mířit různými směry. Bez evalů, které prověří konflikt hodnot, hrozí, že model dostane vznešenou mapu bez dostatečně přesného měřítka.

Evals musí ukázat, jak se hodnoty propíšou do chování

OpenAI bude muset ukázat rozdíl mezi starou a novou verzí na konkrétních scénářích. Nejdůležitější budou úlohy, kde se střetne explicitní pokyn s dlouhodobou preferencí, rychlost s vratností a osobní kontext se soukromím.

Model Spec je veřejný závazek a užitečný podklad pro kritiku. Jeho váhu ale určí až to, zda se změny objeví v měřitelném chování modelů a zda uživatelé poznají, proč agent zasáhl, zastavil se nebo odmítl pokračovat.

Lilithin verdikt

OpenAI nakreslila GPT pět světových stran. Kompas bude užitečný teprve tehdy, když agent u skutečné křižovatky vysvětlí, proč zabočil právě tam.