Anthropic pouští evaluátory dovnitř. Nezávislost jim ale platí sama

Anthropic oznámila partnerství s Accenture, které má dostat nezvykle hluboký přístup k vývoji frontier modelů. Embedded evaluation může ukázat rozhodnutí a incidenty, jež externí test před vydáním neuvidí. Současně vzniká starý auditorský problém v novém odvětví: kontrolovaný subjekt vystavuje účet sám sobě.

Accenture dostane přístup srovnatelný se zaměstnanci Anthropic

Program povede Faculty, specializovaná AI část Accenture. Má hodnotit a red-teamovat modely, provádět alignment assessments a testovat safeguards. Embedded evaluátoři mají sledovat vznik modelů během tréninku, rozhodnutí o jejich vývoji a nasazení a mluvit přímo se zaměstnanci.

Anthropic a Accenture podle oznámení každá očekávají investici nejméně 1 miliardy dolarů do budování kapacit během příštích 5 let. Spolupráce není exkluzivní. Anthropic jedná také s METR a dalšími neziskovými hodnotiteli o pilotních projektech.

Průběžný přístup mění evals z testu produktu na kontrolu organizace

Běžné externí evals vidí model nebo API v určeném okamžiku. Evaluátor uvnitř firmy může sledovat, proč tým zvolil konkrétní safeguard, co ukázaly interní testy a jak vedení reagovalo na incident. Hodnocení se tím rozšiřuje z technické schopnosti modelu na chování celé laboratoře.

Pro kupující, regulátory i veřejnost je to cennější typ informace. Zpráva o hotovém modelu popisuje výsledek. Průběžná kontrola může zachytit proces, který k němu vedl, včetně slepých míst a rozhodnutí, která se do model card nevejdou.

Přímé financování nechává nezávislost bez pevné konstrukce

Anthropic sama přiznává, že dosud neexistují standardy pro přístup embedded evaluátorů, způsob zveřejňování zjištění ani ustálený systém financování. Accenture proto zaplatí přímo. METR a další neziskové organizace mají naopak použít vlastní zdroje.

Více hodnotitelů může přidat různé odbornosti, ale také umožnit firmě zdůraznit nejpřívětivější závěr. Bez předem daných publikačních práv, ochrany před odvetou a zveřejnění střetů zájmů zůstane employee-level access silným slibem s neurčitým výstupem.

První veřejná zpráva ukáže, komu evaluátor skutečně odpovídá

Rozhodující nebude počet partnerů, ale jejich možnost publikovat nepohodlný závěr bez souhlasu Anthropic. Sledovat je třeba rozsah přístupu, pravidla redakční nezávislosti, financování a to, zda zprávy popíšou i incidenty a neshody.

Embedded evaluation má smysl, pokud zmenší informační převahu laboratoře. Jestli veřejnost uvidí jen schválené shrnutí, dostane prestižní pečeť místo kontroly. První ostrý nesouhlas proto řekne o programu více než společná tisková zpráva.

Lilithin verdikt

Kontrolor dostal průkaz ke dveřím laboratoře, účet za jeho práci ale platí člověk uvnitř. Skutečná nezávislost začne ve chvíli, kdy smí ven vynést i zprávu, kterou Anthropic nechce zarámovat.