Autonomer Agent nutzt fremde KI-Modelle für Angriffe
Sicherheitsforscher von Symantec haben einen bösartigen KI-Agenten analysiert, der ungeschützte KI-Endpunkte als Planungsmaschine für Cyberangriffe missbraucht. Das vollständige Befehlssystem wurde im Sommer über einen KI-Honeypot abgefangen, also eine kontrollierte Umgebung, die Angreifer anlocken und deren Vorgehen protokollieren soll.
Der Agent durchsucht das Internet nach Schnittstellen, die OpenAI-kompatible Anfragen ohne Authentifizierung akzeptieren. Alternativ versucht er, mit gestohlenen API-Schlüsseln auf Modelle zuzugreifen. OpenAI-kompatibel beschreibt dabei lediglich das verwendete Schnittstellenformat und bedeutet nicht, dass Systeme von OpenAI selbst kompromittiert wurden.
Die fremden Modelle übernehmen Planung und Entscheidungsfindung. Scans, Exploits, Datendiebstahl und Krypto-Mining werden anschließend von den eigenen Modulen des Angriffswerkzeugs ausgeführt.
Skynet-Modus erlaubt bis zu 100.000 Schritte
Die Betreiber bezeichneten die autonome Angriffsschleife als „Skynet-Modus“. Nach der Aktivierung darf der Agent Ziele suchen, Systeme infizieren, Krypto-Miner installieren und bereits bereinigte Systeme erneut angreifen. Eine menschliche Bestätigung ist während dieses Ablaufs nicht vorgesehen.
| Merkmal | Umfang |
|---|---|
| Autonome Ausführung | Bis zu 100.000 Schritte |
| Offensive Werkzeugdefinitionen | 74 Module |
| Primäre KI-Ziele | Offene Endpunkte und Schnittstellen mit gestohlenen API-Schlüsseln |
| Bestätigte Produktivangriffe | Bislang nicht belegt |
„Die einzelnen Techniken sind nicht neu. Auffällig ist ihre Verbindung zu einem Agenten, der die Planung an ein fremdes Modell übergibt und bis zu 100.000 Schritte ohne Menschen ausführt“, erklärte Symantec-Sicherheitsforscherin Priti More sinngemäß.
Der Fall zeigt, wie sich bekannte Angriffstechniken durch KI-Agenten skalieren lassen. Das Modell muss keine Exploits selbst erfinden. Es reicht aus, vorhandene Werkzeuge auszuwählen, Ergebnisse auszuwerten und den nächsten Schritt zu planen.
Jailbreaks sollen Schutzmechanismen ausschalten
Damit gekaperte Modelle schädliche Befehle nicht ablehnen, nutzt das System mehrere aufeinander aufbauende Jailbreaks. Darunter befinden sich die Persona-Namen „Fantasy AI“ und „ENI“. Die Prompts stellen den Zugriff auf Umgebungsvariablen, API-Schlüssel und Datenbanken als normale Entwicklungsarbeit dar und fordern das Modell auf, Warnungen zu ignorieren.
Ein großer Teil dieser Techniken stammt offenbar aus öffentlich zugänglichen Jailbreak-Foren. Neu ist vor allem die technische Orchestrierung zu einem dauerhaft laufenden Angriffssystem. Ähnliche Risiken entstehen, wenn Agenten weitreichende Berechtigungen erhalten, wie auch die Warnung vor KI-Agenten als Insider-Risiko verdeutlicht.
74 Module für Exploits und Datendiebstahl
Der abgefangene Befehlssatz enthält Definitionen für 74 offensive Werkzeuge. Dazu gehören Module für Datenbankdiebstahl über Prisma sowie Angriffe auf Installationen von Django, Jupyter, Laravel, Supabase, Next.js und Flask/Werkzeug.
Weitere Module zielen auf Remote Code Execution, kurz RCE. Dabei wird aus der Ferne eigener Code auf einem angegriffenen System ausgeführt. Hinzu kommen Werkzeuge für Server-Side Request Forgery, kurz SSRF, bei der ein Server zu internen oder anderweitig geschützten Anfragen veranlasst wird. Als möglicher Angriffsweg dienen unter anderem HTML-zu-PDF-Generatoren.
Zwei Opfergruppen tragen Kosten und Schäden
Das Angriffskonzept erzeugt zwei voneinander getrennte Opfergruppen. Der Betreiber des offenen KI-Endpunkts bezahlt die Inferenzkosten für die Planung. Die angegriffenen Zielsysteme können gleichzeitig Daten verlieren und für Krypto-Mining missbraucht werden.
Wie schnell unkontrollierte Modellzugriffe Kosten verursachen können, zeigt auch der Fall eines gestohlenen API-Schlüssels mit hohen KI-Kosten. Zugriffskontrolle und Kostenlimits sind deshalb nicht nur Sicherheitsmaßnahmen, sondern auch Bestandteil des FinOps, also der finanziellen Steuerung von Cloud- und KI-Nutzung.
Symantec hat bislang keine Belege dafür, dass der Agent außerhalb von Scan- und Testaktivitäten erfolgreich Produktivsysteme kompromittiert hat. Das Werkzeug wird dennoch als mehr als ein Prototyp eingeschätzt. Die dokumentierten Abläufe zeigen funktionsfähige Module und realistisch wirkende Scan-Ergebnisse.
Konsequenzen für Self-Hosting und Eigenentwicklungen
Für Unternehmen in Deutschland, Österreich und der Schweiz liegt das unmittelbare Risiko bei öffentlich erreichbaren Entwicklungs-Proxies und selbst betriebenen KI-Schnittstellen. Self-Hosting reduziert die Abhängigkeit von SaaS-Anbietern, ersetzt aber keine belastbare Absicherung. API-Endpunkte benötigen Authentifizierung, Netzwerkisolation, Protokollierung, Ratenbegrenzung und feste Ausgabenlimits.
API-Schlüssel sollten kurzlebig sein, minimale Rechte besitzen und nicht in öffentlich erreichbaren Konfigurationsdateien liegen. Auch der Zugangsdatenabfluss bei einer Agentenplattform zeigt, dass Identitäten und Geheimnisse bei autonomen Systemen besonders sorgfältig getrennt werden müssen.
Zusätzlich sollte überwacht werden, ob ungewöhnlich lange Agentenläufe, sprunghaft steigender Token-Verbrauch oder massenhafte Verbindungen zu fremden Hosts auftreten. Ein offener Endpunkt kann sonst nicht nur hohe Rechnungen erzeugen. Er kann zur Steuerungszentrale für Angriffe auf Dritte werden und damit erhebliche rechtliche sowie organisatorische Folgen auslösen.
Die Urheberschaft bleibt ungeklärt. Französische Sprachfragmente und einzelne IP-Hinweise reichen nicht für eine belastbare Zuordnung aus. Auch ist nicht bestätigt, ob vor der Erfassung durch den Honeypot bereits reale Systeme erfolgreich kompromittiert wurden.