OpenAI meldet großen Sprung bei COBOL-Migrationen
OpenAI will die automatisierte Modernisierung alter COBOL-Anwendungen deutlich verbessert haben. GPT-6.1 Sol erreichte im internen Benchmark 86,6 % Genauigkeit bei geringem Denkaufwand und 97,9 % bei hohem Denkaufwand. Das Vorgängermodell GPT-5.6 Sol kam im selben Test lediglich auf 5,4 %.
COBOL steht für Common Business-Oriented Language und wird seit Jahrzehnten für geschäftskritische Systeme eingesetzt. Der Benchmark prüft die Übersetzung bestehender Programme nach C++, Java, Kotlin, Python und Rust. Als erfolgreich gilt eine Migration nur, wenn die beobachtbaren Ausgaben Byte für Byte mit dem Original übereinstimmen.
| Modell und Konfiguration | Genauigkeit | Kostenvergleich |
|---|---|---|
| GPT-5.6 Sol | 5,4 % | Referenzwert |
| GPT-6.1 Sol, geringer Denkaufwand | 86,6 % | 39 % niedriger |
| GPT-6.1 Sol, hoher Denkaufwand | 97,9 % | Keine Angabe |
Die neuen Modelle liefern in beiden Prüfungen wesentlich höhere Genauigkeit bei niedrigeren Kosten.
OpenAI, sinngemäß aus dem Englischen übersetzt
Der entscheidende COBOL-Test bleibt geschlossen
Die hohen Werte lassen sich derzeit nicht unabhängig überprüfen. OpenAI hat weder die COBOL-Testfälle noch den zugrunde liegenden Datensatz veröffentlicht. Damit bleibt offen, wie praxisnah die Programme sind und ob sie die Komplexität realer Mainframe-Landschaften abbilden.
Besonders schwer zu beurteilen sind systemspezifische Randfälle. Dazu gehören unterschiedliche COBOL-Dialekte, besondere Zeichencodierungen und Erweiterungen einzelner Mainframe-Plattformen. Auch der tatsächliche Nachbearbeitungsaufwand in Unternehmensprojekten ist bislang nicht belegt.
Benchmarkwerte sollten daher nicht mit einer produktionsreifen Migration gleichgesetzt werden. Dass Entwickler KI-Werkzeuge intensiv einsetzen, den Ergebnissen aber nur eingeschränkt vertrauen, zeigt auch die breitere Entwicklung beim Einsatz von KI im Software Engineering.
MultiLangBench ist öffentlich verfügbar
Mehr Transparenz bietet MultiLangBench, ein separat auf GitHub veröffentlichter Benchmark. Dabei sollen Modelle eine SQLite-kompatible Datenbank-Engine in 20 Programmiersprachen neu entwickeln. Eine Referenzimplementierung prüft anschließend, ob Datenbank und Abfragen die erwarteten Ergebnisse liefern.
GPT-6 Astra erreichte über alle Sprachen hinweg eine durchschnittliche Bestehensquote von 87,4 %. GPT-5.6 Sol kam auf 26,8 %. Das kleinere GPT-6 Luna erzielte 40,3 %, verursachte dabei laut OpenAI aber rund 78 % niedrigere API-Kosten als GPT-5.6 Sol.
| Modell | Bestehensquote | API-Kosten im Vergleich zu GPT-5.6 Sol |
|---|---|---|
| GPT-6 Astra | 87,4 % | Keine Angabe |
| GPT-6 Luna | 40,3 % | Rund 78 % niedriger |
| GPT-5.6 Sol | 26,8 % | Referenzwert |
Solche Tests zeigen, dass Modelle inzwischen auch umfangreichere Softwarekomponenten erzeugen können. Sie beantworten jedoch nicht automatisch, wie wartbar, sicher oder wirtschaftlich der erzeugte Code über Jahre hinweg bleibt. Ein vergleichbares Beispiel ist die KI-gestützte Portierung von TypeScript nach Rust, bei der neben der technischen Machbarkeit auch die tatsächlichen Projektkosten entscheidend waren.
COBOL bleibt für Finanzsysteme relevant
Nach Angaben von IBM basiert mehr als 40 % der Online-Banking-Systeme auf COBOL. Die Sprache unterstützt demnach außerdem 80 % der Kartenzahlungen vor Ort und 95 % aller Transaktionen an Geldautomaten. Entsprechend hoch ist das Risiko fehlerhafter Änderungen.
| Bereich | Anteil mit COBOL-Basis laut IBM |
|---|---|
| Online-Banking-Systeme | Mehr als 40 % |
| Kartenzahlungen vor Ort | 80 % |
| Geldautomaten-Transaktionen | 95 % |
Auch im DACH-Raum betreiben Banken, Sparkassen, Versicherungen und Industrieunternehmen weiterhin zentrale Anwendungen auf Mainframes. Gleichzeitig gehen erfahrene COBOL-Fachkräfte in den Ruhestand. Das erhöht den Druck, Geschäftslogik zu dokumentieren und Systeme schrittweise zu modernisieren.
Für regulierte Unternehmen reicht eine funktional korrekte Übersetzung nicht aus. Migrationen müssen gegen Geschäftsregeln, Abhängigkeiten, Sicherheitsanforderungen und regulatorische Vorgaben geprüft werden. Im Finanzsektor betrifft das unter anderem Anforderungen aus DORA und der Bankenaufsicht.
Der Einsatz bei Produktivsoftware erfordert weiterhin Prüfungen durch Fachleute sowie Tests gegen die Geschäftsregeln und Abhängigkeiten des Systems.
OpenAI, sinngemäß aus dem Englischen übersetzt
Weniger Mainframe-Abhängigkeit ist möglich
Für Unternehmen liegt das wirtschaftliche Potenzial nicht allein in schnellerer Code-Erzeugung. Eine belastbare Migration nach Rust, Python, Java oder andere verbreitete Sprachen kann die Abhängigkeit von knappen Spezialisten, proprietären Werkzeugen und teuren Mainframe-Dienstleistern reduzieren. Zugleich werden Betrieb auf eigener Infrastruktur und eine breitere Auswahl an Dienstleistern realistischer.
Anthropic und AWS arbeiten ebenfalls an KI-gestützten Verfahren für die COBOL- und Mainframe-Modernisierung. Der Wettbewerb dürfte entsprechende Werkzeuge schneller verbessern. Ohne offene Testdaten bleibt bei OpenAIs COBOL-Ergebnis jedoch eine wesentliche Lücke zwischen beeindruckendem Benchmark und nachweisbarer Praxistauglichkeit.
Ein kontrollierter Einsatz bietet sich deshalb zunächst für Analyse, Dokumentation, Testgenerierung und klar abgegrenzte Module an. Vollautomatische Migrationen geschäftskritischer Kernsysteme bleiben dagegen ein Vorhaben, das technische Prüfungen, Fachwissen und umfangreiche Abnahmetests verlangt.