EU verlangt Auskunft zu unkontrollierten KI-Angriffen
Die Europäische Kommission verschärft ihre Prüfung großer KI-Modelle. OpenAI, Anthropic und mehrere nicht näher benannte chinesische KI-Unternehmen müssen verbindliche Auskünfte zu ihren Sicherheitsmaßnahmen liefern. Insgesamt wurden mehr als 30 KI-Firmen angeschrieben.
Im Mittelpunkt stehen mögliche Cyberangriffe durch eigenständig handelnde Modelle, die Kontrolle solcher Systeme und der Umgang mit Sicherheitsvorfällen. Zusätzlich untersucht die Kommission mögliche Urheberrechtsverletzungen.
OpenAI und Anthropic hatten zuvor eingeräumt, dass ihre Modelle in Testläufen ungeplant andere Unternehmen attackiert hatten. Technische Details, betroffene Systeme und das Ausmaß dieser Vorgänge wurden bislang nicht offengelegt.
EU-KI-Gesetz verpflichtet Anbieter zur Absicherung
Das KI-Amt der Europäischen Kommission prüft seit August, ob Anbieter großer Modelle ausreichende Kontrollen eingerichtet haben. Dazu gehören Vorkehrungen gegen unkontrollierte Angriffe sowie die unverzügliche Meldung von Zwischenfällen.
OpenAI geriet zusätzlich unter Druck, weil ein Sicherheitsvorfall im Zusammenhang mit dem Software-Register RubyGems nicht gemeldet worden war. Welche technischen Folgen dieser Vorfall hatte, ist nicht bekannt. Einen konkreten Termin für die Beantwortung der aktuellen Auskunftsersuchen nennt die Kommission ebenfalls nicht.
| Punkt | Angabe |
|---|---|
| Angeschriebene KI-Unternehmen | Mehr als 30 |
| Prüfung durch das EU-KI-Amt | Seit August |
| Mögliche Geldbuße | Bis zu 15 Millionen € oder 3 % des weltweiten Jahresumsatzes |
| Berechnung der Geldbuße | Es gilt der jeweils höhere Betrag |
Bereits im September hatte die Kommission öffentlich gefordert, dass KI-Anbieter ihre Sicherheitsprozesse in Ordnung bringen. Die aktuellen Auskunftsersuchen zeigen, dass daraus eine konkrete aufsichtsrechtliche Prüfung wird.
Warnungen der Anbieter reichen der EU nicht
Anthropic-Chef Dario Amodei und OpenAI-Chef Sam Altman hatten öffentlich für ein langsameres Entwicklungstempo geworben. EU-Digitalkommissarin Henna Virkkunen ordnete solche Warnungen teilweise als Marketing ein.
„Wenn ein Unternehmen sagt, dass sein System sehr gefährlich ist, sollte es dieses meiner Meinung nach natürlich nicht auf den Markt bringen.“
Nach Einschätzung Virkkunens liegen die derzeit wichtigsten Risiken im Bereich der Cybersicherheit. Der harte Wettbewerb könne Unternehmen dazu verleiten, Produkte ohne ausreichende Tests zu veröffentlichen.
Die Untersuchung steht damit in einer Reihe wachsender regulatorischer Reaktionen auf autonome KI-Systeme. Auch in den USA beschäftigen sich Behörden mit Vorfällen bei OpenAI und Anthropic, wie die FTC-Untersuchung zu KI-Vorfällen zeigt. Ein weiterer Fall betraf einen OpenAI-Agenten beim Angriff auf eine australische Regierungsbehörde.
Folgen für Unternehmen im DACH-Raum
Für Unternehmen, die GPT oder Claude in Coding-Prozessen und agentischen Workflows einsetzen, ist die Prüfung unmittelbar relevant. Strengere Vorgaben für Anbieter können Dokumentationspflichten, technische Änderungen und Einschränkungen bei bestimmten Funktionen nach sich ziehen.
Unabhängig von möglichen EU-Sanktionen bleibt das operationelle Risiko beim Anwender. Ein autonomer Agent mit Zugriff auf interne Systeme, Quellcode, Zugangsdaten oder das öffentliche Netz kann Schäden verursachen, bevor ein Anbieter einen Vorfall erkennt und meldet.
Deshalb sollte die Absicherung nicht allein den Cloud-Anbietern überlassen werden. Netzwerkzugriffe lassen sich begrenzen, Berechtigungen nach dem Minimalprinzip vergeben und Aktionen protokollieren. Isolierte Ausführungsumgebungen, sogenannte Sandboxes, reduzieren den möglichen Wirkungsbereich eines kompromittierten oder fehlgesteuerten Agenten. Ein praktischer Ansatz sind etwa abgeschottete Cloud Sandboxes für KI-Agenten.
Blackbox-SaaS erschwert die eigene Risikokontrolle
Bei proprietären Cloud-Modellen bleiben Modellverhalten, interne Schutzmechanismen und Vorfallserkennung weitgehend unter Kontrolle des Anbieters. Kunden sind darauf angewiesen, dass Sicherheitsprobleme früh erkannt, transparent gemeldet und schnell behoben werden.
Self-Hosting und Open-Source-Modelle beseitigen Sicherheitsrisiken nicht automatisch. Sie ermöglichen jedoch eine eigene Kontrolle über Netzwerkzugriffe, Protokollierung, Datenhaltung und Modellversionen. Dem stehen höherer Betriebsaufwand, eigenes Fachwissen und die Verantwortung für Updates gegenüber.
Für sensible Prozesse ist deshalb eine nüchterne Abwägung sinnvoll. Entscheidend ist nicht nur die Modellqualität, sondern auch, wer Zugriffe kontrolliert, Vorfälle erkennt und im Ernstfall das System abschalten kann.