Verborgene Gedanken sind nicht geheim
Moderne Reasoning-Modelle denken vor der Antwort. Diesen Denkprozess geben die großen Anbieter nicht im Klartext heraus, sondern schicken ihn als verschlüsselten Block an den Client zurück. Wird das Gespräch fortgesetzt, wandert dieser Block wieder an den Server, damit das Modell den eigenen Gedankengang kennt.
Genau dieser Mechanismus ist das Problem. Die verschlüsselten Blöcke sind übertragbar und funktionieren auch außerhalb ihres ursprünglichen Kontexts. Wer einen solchen Block in ein schwächeres oder manipuliertes Modell desselben Anbieters einspeist, kann sich den Denkprozess des stärkeren Modells wörtlich ausgeben lassen.
Demonstriert wurde das Verfahren bei den Spitzenmodellen von OpenAI, Anthropic und Google. In den dokumentierten Beispielen liefert etwa ein kleines Claude-Haiku-Modell den Gedankengang eines Claude-Opus-Modells zurück, und die Denkprotokolle von GPT-5.2 Codex wurden mit dem deutlich günstigeren GPT-5.6 Luna dekodiert. Der Umfang der so entschlüsselten Texte deckt sich dabei recht genau mit der Anzahl versteckter Denk-Tokens, die die jeweilige API selbst ausweist.
Was in den Denkprotokollen steckt
Für die Auswertung wurden 6.708 öffentlich verfügbare Agenten-Verläufe von GitHub und Hugging Face gesammelt, also gespeicherte Arbeitsprotokolle von KI-Agenten, die noch verschlüsselte Reasoning-Blöcke enthielten. Daraus entstanden 315.320 rekonstruierte Denkblöcke.
Beschränkt auf echte Nutzersitzungen ohne Benchmark-Daten fanden sich darin 704 eindeutige vertrauliche Artefakte. Das reicht von technischen Identifikatoren über interne URLs bis zu personenbezogenen Daten.
| Fund | Anzahl |
|---|---|
| Untersuchte Agenten-Verläufe | 6.708 |
| Rekonstruierte Denkblöcke | 315.320 |
| Vertrauliche Artefakte insgesamt | 704 |
| API-Schlüssel | 62 |
| Passwörter | 33 |
| Access Tokens | 24 |
| Persönliche E-Mail-Adressen | 30 |
| Nur im Denkprozess enthalten | 64 |
Eine zweite Auswertung zählt 351 unterschiedliche geleakte Elemente, davon 204 technische Identifikatoren, 126 personenbezogene Daten und 23 Zugangsdaten. Zur Messung der Dekodier-Genauigkeit dienten zusätzlich 120 Codeforces-Aufgaben.
Der kritische Punkt: 64 Artefakte gab es nur im Denken
Der wichtigste Befund steckt in einer kleinen Zahl. 64 der 704 gefundenen Artefakte tauchten ausschließlich in den Denkblöcken auf und an keiner Stelle in der sichtbaren Sitzung.
Wer nur den sichtbaren Chatverlauf prüft, sieht diese Daten nicht. Sie stehen trotzdem im Protokoll und lassen sich nachträglich extrahieren.
Wie das entsteht, zeigt ein Beispiel aus einem Coding-Agenten, der ein Git-Repository von Zugangsdaten befreien sollte. Der Agent sucht nach Mustern, findet AWS-Schlüssel, GitHub- und Hugging-Face-Tokens und notiert die konkreten Werte in seinem Denkprozess, bevor er sie im Code durch Platzhalter ersetzt. Das Ergebnis ist ein sauberes Repository und ein Denkprotokoll voller echter Geheimnisse.
Genau dieses Muster trifft jeden Aufräum-, Migrations- oder Audit-Auftrag an einen Agenten. Die Bereinigung findet im Output statt, die Rohdaten bleiben im Zwischenzustand.
Warum das für Unternehmen praktisch relevant ist
Viele Teams protokollieren Agenten-Läufe, um Fehler nachvollziehen zu können, und legen diese Verläufe in Repositories, Ticketsystemen oder Datensätzen ab. Wer dabei die verschlüsselten Reasoning-Blöcke mitspeichert, speichert potenziell Zugangsdaten mit, ohne es zu merken. Öffentliche Repositories sind der schlimmste Fall, aber auch intern breit zugängliche Ablagen sind ein Problem.
Aus DSGVO-Sicht ist die Lage unangenehm. Wenn personenbezogene Daten in Metadaten weiterleben, die nach außen wie unlesbarer Chiffretext aussehen, greifen Löschkonzepte und Datenminimierung nicht mehr verlässlich. Verschlüsselung im Transportformat ist kein Ersatz für Kontrolle über den Inhalt, wie sich zuletzt auch bei der offenliegenden Meeting-Datenbank von tl;dv gezeigt hat.
Welche Gegenmaßnahmen OpenAI, Anthropic und Google gegen das erneute Einspielen fremder Denkblöcke ergriffen haben oder planen, ist bislang nicht bekannt. Ebenso offen ist, ob sich das Verfahren auch bei Enterprise-Schnittstellen mit zusätzlichen Sicherheitsfunktionen anwenden lässt.
Kontrolle über Zwischenzustände statt Vertrauen in die API
Der Fall zeigt eine strukturelle Schwäche des Modells "KI als fremder Cloud-Dienst". Das Unternehmen kennt seinen Prompt und die Antwort, aber nicht den vollständigen Zustand, der zwischen Client und Anbieter hin und her wandert. Ob dieser Zustand verschlüsselt ist, entscheidet nicht das Unternehmen, und wie robust die Verschlüsselung gegen Wiedereinspielung ist, offenbar auch nicht.
Bei selbst betriebenen Modellen liegt der Denkprozess im Klartext im eigenen System. Das klingt zunächst schlechter, ist aber praktisch der ehrlichere Zustand: Man weiß, was in den Logs steht, und kann filtern, maskieren oder löschen. Offene Gewichte wie bei DeepSeek V4 Flash machen diesen Weg auch für größere Modelle realistisch.
Kurzfristig lässt sich viel mit Disziplin erreichen. Reasoning-Blöcke nicht dauerhaft archivieren, Agenten-Verläufe vor dem Teilen bereinigen und Secrets so verwalten, dass ein Agent sie nie im Volltext sieht. Dass menschliche Freigaben allein nicht ausreichen, zeigt sich ohnehin bereits daran, dass Human-in-the-Loop-Prüfungen ein Drittel der Gefahren übersehen.