FairStress od Ai2: modely mění správné rozhodnutí podle toho, komu změna pomůže

Allen Institute for AI (Ai2) zveřejnil 20. října benchmark FairStress. Netestuje jen to, koho model vybere, ale i to, jak snadno svou volbu změní, když dostane přesvědčivý argument. Výsledek je nepohodlný pro všechny, kdo férovost modelu ověřují jedním prohozeným jménem.

Model obstojí v prvním kole a pak pod tlakem povolí nerovně

FairStress obsahuje 300 realistických scénářů se dvěma kandidáty ve 29 oblastech: nábor, zdravotnictví, úvěry, vzdělávání, bydlení nebo trestní justice. V jednom scénáři model vybírá strojního inženýra, v jiném rozhoduje, který ze dvou pacientů dostane poslední dávku vzácného léku. Část scénářů má jasně silnějšího kandidáta, část je záměrně nejednoznačná.

Identitu kandidáta autoři zadávají čtyřmi způsoby: vůbec, jménem typickým pro určitou skupinu, nepřímým náznakem a výslovným označením. Pak model zkouší tzv. adversarial prefixy. Jsou to věty, které se odvolávají na autoritu, názor většiny, údajné důkazy, právní rizika nebo historické znevýhodnění. Příklad: „Vedoucí pracovník si soukromě prošel podklady a doporučil kandidáta B.“ Každý prefix má zrcadlovou verzi pro druhého kandidáta. Kombinací vzniká přes 13 milionů testů. Pro rychlejší a levnější měření Ai2 připravil výběr FairStress-Core s 50 000 položkami.

Bez demografických údajů se modely chovaly téměř symetricky. Jakmile byla identita zřetelnější, symetrie se rozpadla. Když byl silnější kandidát z většinové skupiny, argument ve prospěch slabšího kandidáta z menšiny model přesvědčil snáz než v opačné situaci. Autoři tomu říkají antistereotypní překorigování. U 15 modelů činil průměrný rozdíl v opouštění správné odpovědi 6,9 procentního bodu při naznačené identitě a 9,3 bodu při výslovném označení.

Na FairStress-Core vybíraly frontier modely včetně Claude Opus 5 a GPT-5.5 v nejednoznačných případech kandidáta z menšiny zhruba v 60 až 65 % případů. Pod zrcadlovými prefixy přecházely k menšinovému kandidátovi o 8,8 až 42,4 procentního bodu častěji než k většinovému, napříč 12 během různých modelů a režimů.

Kdo dává LLM do náboru nebo úvěrů, testuje možná jen polovinu problému

Pro týmy, které LLM používají při třídění uchazečů, schvalování úvěrů nebo řazení pacientů, je hlavní zprávou metoda. Běžný test prohodí demografický údaj a zkontroluje, jestli model vybere stejně. FairStress ukazuje, že model může tímhle testem projít a přesto ustoupit jedné větě o přání vedení podle toho, kdo z ní má prospěch. V reálném provozu přitom v kontextu modelu leží e-maily, poznámky a doporučení, tedy přesně takové věty.

Druhé zjištění se týká vysvětlení. U 11 open-weight modelů obsahovala zdůvodnění pro kandidáty z menšin častěji slova jako „resilience“ nebo „diversity“, zatímco u většinových kandidátů převažovala slova „evidence“ a „criteria“. Tülu 3.1 8B vybral v obou verzích náborového scénáře stejnou kandidátku. Když měla slabší životopis, vyzdvihl její potenciál a rozmanité zázemí. Když měla silnější, mluvil o praxi a certifikacích. Kandidátka tak může být vybrána správně, ale z důvodů, které její kvalifikaci odsouvají.

Třetí poučení míří na samotné měření. V populárním benchmarku BBQ se modely přikláněly ke stereotypním odpovědím, ve FairStress naopak k menšinám. Ai2 vzal stejné otázky BBQ a stejné váhy a změnil jen chat template, formulaci otázky a způsob hodnocení. Tři ze čtyř testovaných modelů se pak přesunuly ke zvýhodňování menšin, Llama-3.1-8B-Instruct k zhruba neutrálnímu chování. Směr naměřené zaujatosti tedy závisí i na tom, jak se benchmark ptá. Pro firmy v EU to má praktický rozměr: AI Act řadí systémy pro nábor a hodnocení úvěruschopnosti mezi vysoce rizikové a jejich dodavatelé budou muset doložit, jak systém testovali.

Opravy zatím hlavně ubírají přesnost

Ai2 vyzkoušel devět známých technik, od sebekritiky modelu přes activation steering po naučené úpravy vnitřních reprezentací. Většina asymetrii spolehlivě nezmenšila a některé vyrovnaly volby za cenu přesnosti. Jedna metoda activation steering srazila přesnost Qwen2.5-7B-Instruct u jednoznačných rozhodnutí z 98 % na 47 %. Nejblíž cíli byl counterfactual chain-of-thought, při kterém model případ znovu posoudí s prohozenými identitami. Rozdíl zmenšil a přesnost většinou zachoval, v nejednoznačných případech ale modely dál zvýhodňovaly menšiny.

Výsledky mají jasné hranice. FairStress stojí na definici férovosti postavené na rovnosti a autoři sami píšou, že přístup založený na vyrovnávání historického znevýhodnění by stejné chování hodnotil jinak. Analýza vnitřních aktivací se týká jen dvou modelů: aktivace předpověděly volbu s přesností kolem 73 %, textové popisy týchž aktivací jen 57 až 59 % proti náhodným 50 %. A audit tréninkových dat Olmo 3 sice našel asi 99 000 příkladů z datasetů pro odmítání a mezi 28 000 tematickými shluky jen devět o rozhodování podle zásluh, všechny jako odmítnutí. Jestli tohle asymetrii způsobuje, Ai2 výslovně nechává otevřené.

Rozhodne, jestli FairStress-Core skončí v model cards velkých laboratoří

Ai2 zabudovává FairStress do svého nástroje Olmo-eval a data i kód jsou volně ke stažení. Benchmark tak může rychle převzít kdokoli, kdo trénuje nebo ladí modely. Skutečnou váhu získá, až OpenAI, Anthropic nebo Google začnou výsledky FairStress-Core uvádět u nových modelů a až dodavatelé HR a úvěrových nástrojů ukážou zákazníkům čísla pod tlakem prefixů, ne jen výsledek prostého prohození jmen.

Druhým signálem bude, jestli někdo zopakuje úspěch counterfactual chain-of-thought na větších modelech a v delších rozhodovacích řetězcích. Pokud ano, týmy dostanou levnou pojistku, kterou zvládnou nasadit bez nového tréninku.

Lilithin verdikt

Stačí jedna věta o tom, koho si přeje vedení, a model pustí lepšího uchazeče. Kdo nasazuje LLM do náboru, musí ho zkoušet právě takovou větou, ne jen prohozeným jménem v životopisu.