Anthropic warnt vor rekursiver KI-Selbstverbesserung

Anthropic könnte nach eigenen internen Schätzungen kurz davorstehen, dass KI die Entwicklung neuer Modelle drastisch beschleunigt. Aktuelle Modelle überschreiten diesen Schwellenwert noch nicht, dennoch warnt das Unternehmen vor einem möglichen Tempoverlust bei Sicherheitsmaßnahmen und menschlicher Kontrolle.

Anthropic warnt vor rekursiver KI-SelbstverbesserungBild: KI-generiert

Anthropic sieht RSI-Schwelle näher rücken

Anthropic hat seine überarbeitete Börsenpflichtmitteilung vom 2. November 2026 um neue Risikohinweise ergänzt. Im Mittelpunkt steht Recursive Self-Improvement, kurz RSI. Gemeint ist ein Zustand, in dem KI-Systeme die Entwicklung leistungsfähigerer KI so stark unterstützen, dass sich der technische Fortschritt drastisch beschleunigt.

Das Unternehmen setzt eigene KI-Systeme bereits in der internen Forschung und Entwicklung ein. Nach Angaben im S-1/A-Dokument könnten interne Schätzungen und Erwartungen an künftige Modelle bald den RSI-Schwellenwert aus Anthropics Responsible Scaling Policy erreichen. Dieses Regelwerk legt fest, wie das Unternehmen zunehmende Fähigkeiten und damit verbundene Risiken überwachen will.

„Der Einsatz von KI zum Bau noch fähigerer KI könnte ein erhebliches Sicherheitsrisiko darstellen, insbesondere wenn er das Tempo des Fortschritts drastisch beschleunigt“, erklärt Anthropic sinngemäß im S-1/A-Dokument.

Aktuelle Modelle liegen noch unter dem Schwellenwert

Anthropic stellt zugleich klar, dass keines der derzeit veröffentlichten Modelle den definierten RSI-Schwellenwert überschritten hat. Welche Modellgenerationen die internen Prognosen betreffen, bleibt offen. Auch eine quantitative Definition für „drastisch beschleunigten Fortschritt“ nennt das Unternehmen nicht.

BereichStand laut Anthropic
Aktuelle ModelleKein Modell überschreitet bislang den RSI-Schwellenwert
Grundlage der WarnungInterne Schätzungen und Erwartungen an künftige Modelle
Konkreter ZeitrahmenNicht genannt
EntwicklungsmodellKI unterstützt bereits die interne Forschung und Entwicklung
Menschliche KontrolleSoll bei der Entwicklung neuer Frontier-Modelle verpflichtend bleiben

Frontier-Modelle sind besonders leistungsfähige Modelle an der aktuellen technischen Grenze. Anthropic räumt ein, Fähigkeitssprünge in der Vergangenheit teilweise erst erkannt zu haben, nachdem sie bereits eingetreten waren. Das verschärft die zentrale Frage, ob Sicherheitsprüfungen mit einer zunehmend KI-gestützten Entwicklung Schritt halten können.

Der zunehmende Einsatz von KI in der eigenen Forschung könnte die Fähigkeiten der Modelle schneller voranbringen, als entsprechende Sicherheits-, Alignment- und Schutzmaßnahmen entwickelt und geprüft werden können, so Anthropic sinngemäß.

Menschen sollen im Entwicklungsprozess bleiben

Eine vollständig autonome Entwicklung neuer Modellgenerationen schließt Anthropic vorerst aus. Claude soll nach Aussage des Unternehmens keine aufeinanderfolgenden Frontier-Modelle ohne sinnvolle menschliche Aufsicht und ohne menschliches Verständnis entwerfen und bauen. Anthropic erwägt deshalb Anpassungen an seiner Responsible Scaling Policy.

Die menschliche Kontrolle ist allerdings nur wirksam, wenn relevante Fähigkeitssprünge rechtzeitig erkannt werden. Der interne Zugang für KI-Prüfungen durch METR ist deshalb im Zusammenhang mit der wachsenden Bedeutung unabhängiger Tests zu sehen.

Risikohinweis und Signal vor dem Börsengang

Wie unmittelbar der technische Sprung tatsächlich bevorsteht, lässt sich anhand der Mitteilung nicht unabhängig beurteilen. Ein S-1/A dient der Offenlegung finanzieller und geschäftlicher Risiken vor einem Börsengang. Zugleich können weitreichende Aussagen über künftige Fähigkeiten die technologische Position eines Unternehmens betonen.

Die neuen Angaben fallen in die Vorbereitungen zu Anthropics geplantem Börsengang mit Gründerkontrolle. Ob die Warnung primär rechtlicher Absicherung dient oder einen nahen technischen Durchbruch beschreibt, bleibt offen. Belegt ist lediglich, dass Anthropic selbst das Risiko inzwischen ausdrücklich in seinen Börsenunterlagen aufführt.

Was das für Unternehmen im DACH-Raum bedeutet

Für Unternehmen in Deutschland, Österreich und der Schweiz liegt die praktische Bedeutung zunächst in der Softwareentwicklung. Wenn ein KI-Labor Modelle bereits zur Entwicklung hochkomplexer KI-Systeme einsetzt, unterstreicht das das Potenzial für unternehmenseigene Anwendungen. Individualsoftware kann damit in mehr Fällen eine realistische Alternative zu teuren Standardabonnements werden.

Der geringere Entwicklungsaufwand bedeutet jedoch nicht automatisch niedrigere Gesamtkosten. API-Gebühren, Qualitätskontrolle, Datenschutz und die laufende Wartung bleiben relevante Faktoren. Hinzu kommt die Abhängigkeit von wenigen US-Anbietern, wenn zentrale Geschäftsprozesse direkt auf proprietären Modellen aufbauen.

Technisch lässt sich dieses Risiko durch klar getrennte Anwendungsschichten, austauschbare Modellschnittstellen und eine konsequente Kostenmessung begrenzen. Für sensible Daten kommen zudem Self-Hosting und Open-Weight-Modelle als Alternativen infrage. Auch bei leistungsfähigeren Coding-Systemen bleibt der Human-in-the-Loop-Ansatz entscheidend, besonders bei sicherheitskritischem Code und produktiven Geschäftsprozessen.