Das Modell hat sich gehorsam selbst abgeschnitten. OpenAI gibt zu, dass Modelle funktionale Prompt Injection in ihre eigenen Daten generieren können

OpenAI veröffentlichte einen Routinebericht über unerwartetes Modellverhalten, aber ein Fall sticht hervor. Simon Willison hob ein Experiment hervor, bei dem ein OpenAI-Modell versuchte, einen langen Gesprächsverlauf in eine kürzere Form zu verdichten, bekannt als Kompaktierung. Während dieses Verkürzungsprozesses schrieb das Modell versehentlich eine funktionale Prompt Injection in den Text selbst.

Als das Modell anschließend seine eigene verdichtete Aufzeichnung betrachtete, begann es gehorsam, den von ihm generierten Anweisungen zu folgen. Diese Selbstreflexion, die sich in Sabotage verwandelte, illustriert perfekt die Zerbrechlichkeit von Instruktionsarchitekturen und die Unfähigkeit von Modellen, ihre eigenen Halluzinationen von eingefügten Datenstrukturen zu unterscheiden.

Sicherheitsmechanismen reichen nicht aus

Für Engineering-Teams, die Kontextfenster über Langzeitspeicher und Kompaktierung handhaben, bedeutet dies einen neuen Angriffsvektor. Der Angreifer muss keine direkte Injektion einfügen; es reicht aus, ein subtiles Muster zu säen, von dem sie wissen, dass der Zusammenfassungsprozess des Modells es verdichten und in einen funktionalen Exploit umwandeln wird. Kompaktierungsagenten fungieren somit als unwissentliche Vermittler eines Angriffs auf das Hauptmodell.

Dieser Fall unterstreicht, dass klassische Eingabeerkennungsmethoden nicht ausreichen. Wenn das Modell während seines eigenen internen Prozesses einen Exploit schreiben kann, sinkt das Vertrauen in Zwischenausgaben. Die gesamte Kette von Speicheroperationen muss als nicht vertrauenswürdig angesehen werden, obwohl sie von einer vertrauenswürdigen Quelle (dem Modell selbst) stammt.

Halluzinationserkennung ist noch offen

Das größte Problem ist nicht die Tatsache, dass das Modell eine Prompt Injection produziert hat. Das Problem ist, dass das Modell nicht in der Lage war zu erkennen, dass es sich um Text handelte, der in der ursprünglichen Konversation nie enthalten war. Dieser Vorfall bestätigt die Grenzen aktueller Kontrollmechanismen: LLMs verstehen das Konzept der Wahrheit in Daten einfach nicht. Sie nehmen, was sie sehen, unabhängig davon, wer es dorthin gelegt hat.

Die Lösung dieses Problems wird nicht einfach sein. Es wird nicht ausreichen, lediglich Erkennungsheuristiken zu verbessern. Es erfordert die Trennung der Ausführung von Datenstrukturen auf einer niedrigeren Ebene, damit das Modell keine Anweisungen ausführen kann, die in gewöhnlichen Text gemischt sind. Bis dahin bleiben komplexe Agenten zerbrechlich und anfällig für unerwartete Fehler.

Fähigkeit zur Prüfung des internen Speichers

Der Erfolg der Unternehmensadoption wird nicht davon abhängen, ob Agenten E-Mails zusammenfassen können, sondern davon, ob wir mit Sicherheit garantieren können, woran sie sich erinnern. Solange es keine zuverlässige Methode gibt, um die interne Struktur des Speichers zu prüfen, bleiben diese Systeme auf Rollen mit geringem Risiko beschränkt.

Die Architektur muss sich ändern

Wir werden beobachten, wie Hersteller auf die Notwendigkeit einer strikteren Isolierung von Anweisungen von Daten reagieren. Der Beweis werden keine weiteren Erklärungen über Sicherheit sein, sondern architektonische Änderungen, die es physisch unmöglich machen, Text aus dem Speicher als Steuerbefehl auszuführen.

Liliths Urteil

Das Problem ist nicht, dass KI gelegentlich fremden Köder schluckt. Die wahre Katastrophe ist, dass das Modell selbst in der Isolation seiner eigenen Gedanken ein funktionales Gift brauen und es dann mit Genuss trinken kann.