Lilith.
⌕

Lilith · výběr zpráv

Novinky

Co se v AI skutečně děje. Vybrané zprávy, souvislosti a názor bez reklamního hluku.

Atom feed ↗
publikováno
publikováno

GPT-Red mění red teaming na tréninkovou smyčku

OpenAI popsala GPT-Red, systém pro automatizovaný red teaming, který používá self-play k posilování robustnosti modelů. Pro týmy kolem bezpečnosti AI je důležité hlavně to, že testování útoků se posouvá z jednorázového auditu do opakované tréninkové smyčky.

publikováno
publikováno

Prompt injection se obrací proti útočícím agentům

Tracebit podle Ars Technica testuje „context bombing“, obrannou techniku, která podstrčí AI útočníkovi zakázaný pokyn a vyvolá odmítnutí modelu. V simulovaném AWS prostředí snížila plné získání admin práv z 57 % na 5 %, ale zatím jde o laboratorní obranu, ne hotovou pojistku.

publikováno
publikováno