Anthropic wpuszcza ewaluatorów do środka, ale sama płaci za ich niezależność

Anthropic ogłosiła partnerstwo, które zapewni Accenture wyjątkowo głęboki dostęp do rozwoju modeli frontier. Embedded evaluation może ujawnić decyzje i incydenty niewidoczne w zewnętrznym teście przed premierą. Jednocześnie przenosi do nowej branży stary problem audytu: kontrolowana organizacja płaci kontrolerowi.

Accenture otrzyma dostęp porównywalny z pracownikami Anthropic

Program poprowadzi Faculty, wyspecjalizowana jednostka AI należąca do Accenture. Zakres obejmuje ocenę i red-teaming modeli, alignment assessments oraz testowanie safeguards. Embedded ewaluatorzy mają obserwować modele podczas treningu, śledzić decyzje dotyczące rozwoju i wdrożeń oraz rozmawiać bezpośrednio z pracownikami.

Zgodnie z komunikatem Anthropic i Accenture planują zainwestować po co najmniej 1 miliardzie dolarów w budowę tych kompetencji w ciągu najbliższych 5 lat. Umowa nie jest wyłączna. Anthropic rozmawia też z METR i innymi organizacjami non-profit o projektach pilotażowych.

Stały dostęp zmienia evals z testu produktu w nadzór nad organizacją

Typowe zewnętrzne evals widzą model lub API w wybranym momencie. Ewaluator pracujący wewnątrz firmy może sprawdzić, dlaczego zespół wybrał określony safeguard, co wykazały testy wewnętrzne i jak kierownictwo zareagowało na incydent. Przedmiot oceny rozszerza się z możliwości technicznych modelu na zachowanie całego laboratorium.

Dla klientów, regulatorów i opinii publicznej to cenniejsza kategoria informacji. Raport o gotowym modelu opisuje rezultat. Stały nadzór może pokazać proces, który do niego doprowadził, wraz ze ślepymi punktami i decyzjami pomijanymi w model card.

Bezpośrednie finansowanie pozostawia niezależność bez trwałych zasad

Anthropic przyznaje, że nie ma jeszcze standardów dotyczących dostępu embedded ewaluatorów, publikowania ustaleń ani niezależnego finansowania. Dlatego firma bezpośrednio zapłaci Accenture. METR i inne organizacje non-profit mają natomiast finansować pilotaże z własnych środków.

Wielu ewaluatorów wnosi różne kompetencje, ale pozwala też firmie eksponować najbardziej przychylny wniosek. Bez z góry ustalonych praw do publikacji, ochrony przed odwetem i jawności konfliktów interesów employee-level access pozostaje mocną obietnicą z niepewnym wynikiem.

Pierwszy publiczny raport pokaże, komu odpowiada ewaluator

Kluczowa będzie możliwość opublikowania niewygodnego wniosku bez zgody Anthropic, a nie liczba partnerów. Warto śledzić zakres dostępu, niezależność redakcyjną, warunki finansowania oraz to, czy raporty opisują incydenty i spory.

Embedded evaluation ma sens, gdy zmniejsza przewagę informacyjną laboratorium. Jeśli opinia publiczna zobaczy wyłącznie zatwierdzone podsumowanie, otrzyma prestiżową pieczęć zamiast kontroli. Pierwszy ostry spór powie o programie więcej niż wspólny komunikat.

Werdykt Lilith

Kontroler dostał identyfikator otwierający drzwi laboratorium, ale rachunek płaci osoba w środku. Niezależność zacznie się wtedy, gdy wolno mu będzie wynieść raport, którego Anthropic nie zechce oprawić i pokazać.