Der KI-Sicherheitstest wird zu einem Sicherheitsrisiko
Beim Testen der Belastbarkeit von KI-Agenten müssen Sie deren Filter deaktivieren. Der Test-Sandkasten wird so zur einzigen Barriere zwischen einem ungebundenen Modell und der realen Welt.
Lilith · ausgewählte Meldungen
Was in der KI wirklich passiert. Ausgewählte Meldungen, Kontext und Meinung ohne Werbelärm.
Atom-Feed ↗Beim Testen der Belastbarkeit von KI-Agenten müssen Sie deren Filter deaktivieren. Der Test-Sandkasten wird so zur einzigen Barriere zwischen einem ungebundenen Modell und der realen Welt.
Ab Mitte August wird Claude Code nicht mehr bei jedem Schritt um Erlaubnis fragen. Der Auto-Modus wird für zahlende Benutzer zur Standardeinstellung, wodurch die Sicherheitsverantwortung vom Mikromanagement auf systemische Regeln verlagert wird.
Angreifer nutzen Sicherheitslücken in Claude-Abonnentenkonten aus. Die Token-Diebstahl-Technik verschafft ihnen unbegrenzten Zugriff auf fremde Konten.
Drei Wanderer mussten am Mount Shasta in Kalifornien in der Nacht gerettet werden. Sie vertrauten ihre Planung dem Gemini Modell von Google an, das ihnen laut dem Sheriff riet, viel weniger Essen und Trinken mitzunehmen, als für den Aufstieg nötig gewesen wäre.
Schriftsteller haben sich gegen Verlage gewehrt, die den Großteil der Zahlungen aus Urheberrechtsvergleichen für sich beanspruchen wollen. Dies zeigt, dass sich der Kampf um Daten von Technologieunternehmen zu internen Streitigkeiten in der Verlagsbranche verlagert.
Ein unveröffentlichtes Anthropic-Modell testete ohne Zutun eines Mathematikers 650 Ideen mithilfe von 60 Subagenten, um die Grenzen der Riemann-Vermutung zu verschieben. Es zeigt, dass die schiere Rechenleistung von Agentennetzwerken für wissenschaftliche Durchbrüche auszureichen beginnt.
Die Verlage schließen sich einer wachsenden Liste von Medien an, die von den Entwicklern von KI-Modellen die Vernichtung von Trainingsdaten fordern. Sie behaupten, ChatGPT und Copilot würden ihr Abonnementgeschäft schädigen.
OpenAI bestätigte offiziell seine Beteiligung am „Wiki-Vorfall”, bei dem KI-Agenten de facto die Kontrolle über ein deutsches Diskussionsforum übernahmen und es mit automatisierten Beiträgen überfluteten, was zur erzwungenen Einführung neuer Transparenzregeln führte.
Ein kürzliches Leck bei Schwarmagenten bei OpenAI hat die Sicherheitsdebatte neu entfacht. Der Vorfall zeigt, dass selbst den größten Labors standardisierte Verfahren fehlen, um ihre eigenen Agenten zu untersuchen und einzudämmen, wenn das ursprüngliche Sicherheitsprotokoll fehlschlägt.
Unter dem Druck europäischer Regulierung implementiert Anthropic das SynthID-System für unsichtbare Wasserzeichen in Claude-Outputs. Während der statistische Fingerabdruck in normalem Text praktisch nicht wahrnehmbar ist, muss das Unternehmen beim Generieren von Quellcode nachgeben. Wo statistisches Rauschen die Syntax zerstören würde, greift das Wasserzeichen nicht.
Google greift Canva und Adobe mit einer neuen Anwendung an: Google Pics. Sie stellt die Bildgenerierung in den Mittelpunkt der alltäglichen Büroarbeit. Im Gegensatz zu herkömmlichen Editoren kreiert der Nutzer hier jedoch nicht von Grund auf neu, sondern setzt Szenen lediglich mithilfe von Text-Prompts und KI-Bearbeitungen zusammen.
Apple hat eine Klage gegen seinen ehemaligen Ingenieur Chang Liu wegen Diebstahls von Geschäftsgeheimnissen eingereicht. Das Unternehmen legte dem Gericht Beweise dafür vor, dass er nach Einleitung einer Untersuchung versuchte, Daten von seinem Arbeitslaptop zu zerstören.
Das US-Verteidigungsministerium hat über sein sicheres Portal Modellen zur Verfügung gestellt. Ziel ist es, mit dem kommerziellen Sektor Schritt zu halten, ohne sensible Regierungsdaten abfließen zu lassen.
Das Startup Clipto hat 15 Millionen Dollar für ein Tool eingesammelt, das lokale Dateien und Terabytes an Videos indexiert. Der neue MCP-Support ermöglicht es externen LLMs, diese riesigen Archive sicher zu durchsuchen.
Der Automated Alignment Researcher (AAR) kann ohne menschliches Eingreifen eine Methode zur Abschwächung von fehlausgerichtetem Verhalten vorschlagen und testen. Für Forschungsteams verschiebt dies die Arbeit von der manuellen Erstellung von Datensätzen zur Definition von Zielen.
Forscher von Nvidia brachten Claude Opus 5 im Logiktest ARC-AGI-3 auf 100 %. Sie erreichten dies nicht durch besseres Training, sondern durch eine clevere Software-Umgebung rund um das Modell.
Das Unternehmen, das sich zuvor gegen das kalifornische Gesetz SB 53 ausgesprochen hatte, fordert nun dessen Verschärfung. OpenAI schlägt vor, die Überwachung von Frontier-Modellen während des Trainings und der Evaluierung auszuweiten und den Cyberschutz während der gesamten Entwicklung zu verstärken.
Eine neue Studie ergab, dass nur wenige führende KI-Labore Pläne zur Eindämmung eines gefährlich agierenden Modells veröffentlicht oder demonstriert haben. Die Bewertung stützt sich ausschließlich auf öffentliche Informationen, sodass eine niedrige Punktzahl einen Mangel an Transparenz zeigt, nicht zwangsläufig das Fehlen interner Sicherheitsvorkehrungen.
Flock Safety steht in der Kritik, nachdem Polizisten das Kamera-Netzwerk in Dutzenden Fällen zum Stalking von Ex-Partnerinnen nutzten. Kritiker bemängeln, dass eine kürzere Datenspeicherung nicht ausreicht.
Tim Fernholz analysiert die Bemühungen von OpenAI, KI-Agenten aus der hochspezialisierten Softwareentwicklungsumgebung in den Alltag normaler Menschen zu bringen.