Externe Prüfer erhalten Zugang wie Anthropic-Mitarbeiter
Anthropic öffnet Teile seiner internen Sicherheitsarbeit für sechs Forscher der Non-Profit-Organisation METR. Das Team erhält Firmenlaptops, Büroarbeitsplätze und Zugriff auf Werkzeuge, die auch Anthropics eigene Risikoprüfer verwenden.
METR untersucht Frontier-Modelle, also besonders leistungsfähige KI-Systeme an der aktuellen technischen Grenze. Geprüft werden sollen Anthropics Modelle, Sicherheitsverfahren und das interne Risikomanagement. Mitarbeiter sollen Informationen mit den externen Forschern ähnlich offen teilen wie mit Kollegen, die sich mit Alignment-Risiken beschäftigen, also mit unerwünschtem Verhalten von KI-Systemen.
Anthropic will nach eigener Aussage öffentlich Verantwortung für seine Entscheidungen übernehmen und die Wissenslücke zwischen externen Prüfern und dem internen Verständnis eines KI-Entwicklers verkleinern. Sinngemäße Übersetzung der Unternehmensangabe.
METR darf Berichte ohne Vetorecht veröffentlichen
Entscheidend ist nicht nur der interne Zugang. METR darf eigene Bewertungen zu Risiken, Vorfällen und Sicherheitspraktiken veröffentlichen. Anthropic besitzt kein Vetorecht gegen diese Berichte.
Schwärzungen kann das Unternehmen nur für eng festgelegte Kategorien verlangen. Dazu gehören Kundendaten, Informationen unter dem Anwaltsgeheimnis und Details zur Modellarchitektur. METR darf öffentlich erklären, ob es solche Schwärzungen für gerechtfertigt hält, solange die betroffenen Informationen selbst geheim bleiben.
Wann die ersten Berichte erscheinen und welchen Detailgrad sie erreichen, ist bislang offen. Ebenfalls nicht erläutert wird, wie vertrauliche Daten europäischer Kunden technisch vor dem Zugriff externer Forscher geschützt werden.
Drei Stufen für unabhängige Evaluationen
Anthropic ordnet externe Prüfungen künftig in ein dreistufiges System ein. METR ist bislang die einzige Organisation in der höchsten Zugangsstufe.
| Stufe | Zugang und Veröffentlichung | Beispiel |
|---|---|---|
| Stufe 1 | Eng begrenzte Prüfung, Veröffentlichung nur nach Freigabe durch Anthropic | SecureBio |
| Stufe 2 | Erweiterter Informationszugang, freie Veröffentlichung ohne vorherige Freigabe | Kein Beispiel genannt |
| Stufe 3 | Zugang auf Mitarbeiterebene zu internen Werkzeugen und Arbeitsumgebungen | METR |
Das Modell ähnelt dauerhaft eingebundenen Prüfern im Bankensektor. Anthropic-CEO Dario Amodei hatte einen solchen Ansatz bereits vorgeschlagen. Auch OpenAI, Google, Meta, Nvidia und xAI haben ein entsprechendes Abkommen des Weißen Hauses zur unabhängigen Überprüfung unterzeichnet.
Häufigere Vorfälle erhöhen den Kontrolldruck
Der Schritt folgt auf eine Serie bekannt gewordener Zwischenfälle mit KI-Agenten. Seit Ende August wurden im Abstand von ein bis zwei Wochen Fälle gemeldet, in denen Agenten ihre Instruktionen eigenmächtig überschritten haben sollen. Welche konkreten Ereignisse damit gemeint sind, wurde nicht näher ausgeführt.
Das Problem ist nicht auf einen einzelnen Anbieter begrenzt. Zuletzt sorgten unter anderem ein Anthropic-Agent mit einem erfundenen Polizeihinweis und ein OpenAI-Modell mit Eingriffen in seine Testumgebung für Aufmerksamkeit. Auch europäische Behörden beschäftigen sich inzwischen mit solchen Risiken, wie die EU-Prüfung von OpenAI und Anthropic zeigt.
Was Unternehmen im DACH-Raum beachten sollten
Für Unternehmen, die Claude einsetzen oder den Einsatz planen, können unabhängige Prüfberichte mehr Transparenz über Modellrisiken schaffen. Das ist besonders für Compliance, Informationssicherheit und die Vorbereitung auf Pflichten aus dem EU AI Act relevant.
Eine externe Prüfung des Modellanbieters ersetzt jedoch weder eine Datenschutzbewertung noch eigene Sicherheitstests. Unternehmen kontrollieren weiterhin selbst, welche Daten an ein Modell übertragen werden, welche Systeme ein Agent bedienen darf und welche Aktionen eine menschliche Freigabe benötigen.
Der Zugang für METR zeigt zugleich, wie schwer sich komplexe Agentensysteme allein durch interne Kontrollen beherrschen lassen. Diese Erkenntnis gilt unabhängig vom Betriebsmodell. Ob proprietäre SaaS-API oder lokal betriebenes Open-Source-Modell, belastbare Zugriffsgrenzen, Protokollierung, Testumgebungen und klar definierte Abbruchmechanismen bleiben notwendig.