Experti volají po nezávislém auditu modelů

Konec interních bezpečnostních kontrol

Více než stovka oborových expertů a výzkumníků podepsala otevřený dopis organizovaný iniciativou AI Evaluator Forum. Hlavní požadavek zní jasně: vývojáři hraničních modelů (frontier AI), jako jsou OpenAI, Anthropic nebo xAI, by měli povinně integrovat takzvané „embedded evaluators“, tedy nezávislé třetí strany, které budou mít plný přístup k tréninkovému procesu, modelům i datům o incidentech.

Proč interní audity nestačí

Současný model, kdy firmy hodnotí bezpečnost vlastních modelů samy (nebo skrze komerční partnery), naráží na limity důvěryhodnosti. Nezávislí auditoři by podle navrhovaného standardu AEF-1 museli splňovat přísná kritéria: žádný finanční konflikt zájmů, transparentnost ve financování a právo veřejně publikovat svá zjištění. Pro vývojářské týmy by to znamenalo pustit externí dohled přímo do kuchyně dřív, než je model hotový.

Problém s kapacitou auditorů

Největší překážkou ale nakonec nemusí být neochota firem. Jak upozorňují i někteří ze signatářů (např. Nathan Lambert), skutečným úzkým hrdlem je nedostatek lidí. Najít auditory, kteří mají jak potřebnou technickou hloubku k pochopení nejnovějších architektur, tak absolutní nezávislost na velkých technologických hráčích, je v současném ekosystému téměř nemožné.

Přijmou firmy nová pravidla hry?

Klíčovým signálem bude, zda hlavní hráči na trhu (OpenAI, Anthropic, Google) principy AEF-1 reálně adaptují, nebo je jen formálně podpoří. Skutečným důkazem změny nebude podpis memoranda, ale první případ, kdy nezávislý auditor na základě svých zjištění zdrží vydání nového vlajkového modelu.

Lilithin verdikt

Nápad je to skvělý, ale naráží na realitu trhu. Kdokoliv má schopnosti auditovat Claude 3.5 Sonnet, už pravděpodobně dělá na Gemini.