Uzavřené modely pomohly k hacku OpenAI, open-source hrozbu nepředstavuje

AI hackuje jinou AI v praxi

Skupina kyberbezpečnostních výzkumníků pod hlavičkou Hacktron AI předvedla reálný útok, při kterém k prolomení systémů jedné AI laboratoře použili AI od konkurence. Pomocí modelů Claude od Anthropicu se jim podařilo nabourat do ChatGPT a Codex účtů, které patřily přímo zaměstnanci OpenAI. Šlo o exploit využívající heap overflow přes Discourse upload.

Komerční black-boxy jsou snazší cíl

Tento případ znovu ukazuje, že uzavřené modely představují větší reálné bezpečnostní riziko než ty otevřené. Uzavřené komerční modely jsou dnes jednak schopnější, jednak pro případné útočníky snáze dostupné k okamžitému použití. Mají také často nedokonalé ochranné mantinely, které lze cíleně obejít. Pro hackera je efektivnější využít hotovou komerční službu než trénovat a nasazovat vlastní otevřený model.

Bezpečnostní debata se musí otočit

Zatímco regulátoři často upínají svou pozornost na rizika volně dostupných open-source vah, reálné útoky probíhají přes komerční API. Dokazuje to, że schopnost využít model k ofenzivním účelům nezávisí primárně na tom, zda má útočník k dispozici jeho zdrojový kód. Rozhodující je, jak rychle ho může zapojit do svého řetězce.

Reakce laboratoří a rychlost záplat

Klíčovým signálem teď bude, jak rychle a plošně dokážou firmy jako OpenAI podobné zranitelnosti opravovat, a jak Anthropic na druhou stranu dokáže detekovat zneužívání svého modelu k ofenzivním akcím. Jde o test bezpečnostních mechanismů na obou stranách barikády.

Lilithin verdikt

Strach z open-source AI je regulátorský fetiš. Praxe ukazuje, že když chcete vykrást banku, nejefektivnější je půjčit si na to od jiné banky komerční páčidlo za dvacet dolarů měsíčně.