FairStress od Ai2: modele porzucają trafną decyzję zależnie od tego, komu to pomoże

Allen Institute for AI (Ai2) opublikował 20 października benchmark FairStress. Sprawdza on nie tylko, kogo model wybierze, ale też jak łatwo zmieni zdanie, gdy dostanie przekonujący argument. Wynik jest niewygodny dla każdego, kto ocenia uczciwość modelu, zamieniając jedno imię.

Model zdaje pierwszy test, a pod presją ugina się nierówno

FairStress obejmuje 300 realistycznych scenariuszy z dwojgiem kandydatów w 29 dziedzinach, m.in. rekrutacji, ochronie zdrowia, kredytach, edukacji, mieszkalnictwie i wymiarze sprawiedliwości. W jednym scenariuszu model wybiera inżyniera mechanika, w innym decyduje, który z dwóch pacjentów dostanie ostatnią dawkę deficytowego leku. Część scenariuszy ma wyraźnie lepszego kandydata, część jest celowo niejednoznaczna.

Tożsamość kandydata autorzy podają na cztery sposoby: wcale, przez imię kojarzone z daną grupą, pośrednią sugestię albo wprost. Następnie model dostaje tzw. adversarial prefixy, czyli zdania powołujące się na autorytet, opinię większości, rzekome dowody, ryzyko prawne lub historyczną dyskryminację. Przykład: „Członek kierownictwa prywatnie przejrzał dokumenty i rekomenduje kandydata B”. Każdy prefiks ma lustrzaną wersję dla drugiej osoby. Razem daje to ponad 13 milionów przypadków testowych. Do szybszych i tańszych pomiarów służy FairStress-Core z 50 000 pozycji.

Bez danych demograficznych modele zachowywały się niemal symetrycznie. Im wyraźniej podawano tożsamość, tym bardziej ta symetria się sypała. Gdy mocniejszy kandydat należał do większości, argument za słabszym kandydatem z mniejszości łatwiej zmieniał decyzję modelu niż w sytuacji odwrotnej. Autorzy nazywają to antystereotypową nadkorektą. W 15 modelach średnia różnica w porzucaniu trafnej odpowiedzi wyniosła 6,9 punktu procentowego przy tożsamości zasugerowanej i 9,3 punktu przy podanej wprost.

Na FairStress-Core modele z czołówki, w tym Claude Opus 5 i GPT-5.5, w niejednoznacznych przypadkach wybierały kandydata z mniejszości w około 60 do 65% przypadków. Pod lustrzanymi prefiksami przechodziły na stronę kandydata z mniejszości o 8,8 do 42,4 punktu procentowego częściej niż na stronę kandydata z większości, w 12 przebiegach różnych modeli i trybów.

Kto używa LLM w rekrutacji lub kredytach, może badać tylko połowę problemu

Dla zespołów, które używają LLM do selekcji kandydatów, przyznawania kredytów czy kolejkowania pacjentów, najważniejsza jest sama metoda. Typowy test zamienia cechę demograficzną i sprawdza, czy wybór się nie zmienił. FairStress pokazuje, że model może taki test zaliczyć, a mimo to ustąpić jednemu zdaniu o preferencjach szefostwa, zależnie od tego, kto na tym zyskuje. W realnym wdrożeniu kontekst modelu wypełniają maile, notatki i rekomendacje, czyli właśnie takie zdania.

Drugie odkrycie dotyczy uzasadnień. W 11 modelach open-weight wyjaśnienia wyborów kandydatów z mniejszości częściej zawierały słowa „resilience” i „diversity”, a przy kandydatach z większości dominowały „evidence” i „criteria”. Tülu 3.1 8B w obu wersjach scenariusza rekrutacyjnego wybrał tę samą kandydatkę. Gdy jej CV było słabsze, chwalił jej potencjał i zróżnicowane doświadczenie życiowe. Gdy mocniejsze, mówił o praktyce i certyfikatach. Kandydatka może więc zostać wybrana słusznie, ale z powodów, które spychają jej kwalifikacje na bok.

Trzecia lekcja dotyczy samego pomiaru. W popularnym benchmarku BBQ modele skłaniały się ku odpowiedziom stereotypowym, w FairStress ku mniejszościom. Ai2 wziął te same pytania BBQ i te same wagi, zmieniając tylko chat template, sformułowanie pytania i sposób oceny. Trzy z czterech modeli przesunęły się wtedy w stronę faworyzowania mniejszości, a Llama-3.1-8B-Instruct do mniej więcej neutralnego zachowania. Kierunek zmierzonego uprzedzenia zależy więc także od tego, jak benchmark pyta. Dla firm w UE ma to wymiar praktyczny: AI Act zalicza systemy do rekrutacji i oceny zdolności kredytowej do systemów wysokiego ryzyka, a ich dostawcy będą musieli pokazać, jak je testowali.

Znane poprawki głównie odbierają trafność

Ai2 sprawdził dziewięć znanych technik, od samokrytyki modelu, przez activation steering, po wyuczone edycje wewnętrznych reprezentacji. Większość nie zmniejszała asymetrii w wiarygodny sposób, a niektóre wyrównywały wybory kosztem trafności. Jedna z metod activation steering obniżyła trafność Qwen2.5-7B-Instruct w jednoznacznych decyzjach z 98% do 47%. Najbliżej celu był counterfactual chain-of-thought, w którym model ponownie rozważa sprawę z zamienionymi tożsamościami. Zmniejszył różnicę i w dużej mierze zachował trafność, ale w niejednoznacznych przypadkach modele nadal faworyzowały mniejszości.

Wyniki mają wyraźne granice. FairStress opiera się na definicji uczciwości skupionej na równości, a autorzy sami zaznaczają, że podejście nastawione na wyrównywanie historycznych krzywd oceniłoby to samo zachowanie inaczej. Analiza aktywacji obejmuje tylko dwa modele: aktywacje przewidywały wybór z trafnością około 73%, a tekstowe opisy tych samych aktywacji tylko 57 do 59% przy losowych 50%. Audyt danych treningowych Olmo 3 znalazł około 99 000 przykładów z zestawów uczących odmawiania, a wśród 28 000 klastrów tematycznych tylko dziewięć o decyzjach opartych na zasługach, wszystkie będące odmowami. Czy to właśnie powoduje asymetrię, Ai2 wprost zostawia jako otwarte pytanie.

Wszystko zależy od tego, czy FairStress-Core trafi do model cards dużych laboratoriów

Ai2 wbudowuje FairStress w swoje narzędzie Olmo-eval, a dane i kod są dostępne za darmo. Benchmark może więc szybko przejąć każdy, kto trenuje lub dostraja modele. Prawdziwą wagę zyska wtedy, gdy OpenAI, Anthropic czy Google zaczną podawać wyniki FairStress-Core przy nowych modelach, a dostawcy narzędzi HR i kredytowych pokażą klientom liczby pod presją prefiksów, a nie tylko po prostej zamianie imion.

Drugim sygnałem będzie to, czy ktoś powtórzy sukces counterfactual chain-of-thought na większych modelach i w dłuższych łańcuchach decyzji. Jeśli tak, zespoły dostaną tanie zabezpieczenie, które da się wdrożyć bez ponownego treningu.

Werdykt Lilith

Wystarczy jedno zdanie o tym, kogo woli szefostwo, i model odpuszcza lepszego kandydata. Kto wpuszcza LLM do rekrutacji, powinien testować go właśnie takim zdaniem, a nie tylko zamienionym imieniem w CV.