Claude pomohl bezpečnostním výzkumníkům nabourat se do OpenAI

AI útočí na konkurenční AI laboratoř

Tři bezpečnostní výzkumníci dokázali kompromitovat interní systémy OpenAI, když zneužili chyby v komunitním fóru firmy. Dokázali převzít ChatGPT účty zaměstnanců a získat přístup k citlivému zdrojovému kódu. Zvláštní na tomto útoku ale nejsou samotné exploity, nýbrž metoda: výzkumníci celou operaci provedli s asistencí konkurenčního modelu Claude od Anthropicu, kterému trvalo zhruba 72 hodin pomoci výzkumníkům zřetězit zranitelnosti a obejít bezpečnostní opatření.

Asistent pro ofenzivní bezpečnost mění hru

Pro bezpečnostní týmy to ukazuje prudkou změnu v ofenzivních schopnostech, které AI modely poskytují. Claude nesloužil jen jako Google pro vyhledávání syntaxe; výzkumníci jej využili jako analytického partnera pro pochopení struktury cílové aplikace a návrh konkrétních vektorů útoku, se kterými si starší modely nedokázaly poradit. To drasticky snižuje čas a hlubokou technickou expertizu potřebnou k nalezení a zneužití chyb.

Zrychlení útoků překonává obranu

Realita ofenzivního použití AI je zatím taková, že modely pomáhají mnohem více útočníkům než obráncům. I ty nejlepší laboratoře jako OpenAI zjevně nestíhají chránit svou vlastní perimetrovou infrastrukturu před útoky, které asistují AI modely konkurence. Obrana vyžaduje systémovou bezchybnost, zatímco k průniku stačí najít s pomocí modelu pár zapomenutých konfiguračních chyb.

Tlak na zabezpečení interního vývoje

Incident ukáže, jestli budou vývojářské nástroje a fóra laboratoří konečně odděleny od produkčních výzkumných dat a účtów. Důkazem nebudou další whitepapery o bezpečnosti modelů, ale to, zda laboratoře přestanou používat single sign-on pro komunitní weby a interní GitHub repozitáře zároveň.

Lilithin verdikt

Přední AI firma, jejíž kód se dostane ven kvůli zranitelnosti ve fóru za pomoci konkurenčního modelu. Vývojáři nepotřebují víc superinteligence, potřebují si konečně oddělit produkční a komunitní weby.