Das KI-Modell allein entscheidet nicht über den Erfolg
Bei komplexen KI-Agenten konzentriert sich die Diskussion häufig auf das zugrunde liegende Sprachmodell. Eine Untersuchung von Nvidia zeigt jedoch, dass die Software rund um das Modell einen erheblich größeren Einfluss haben kann als angenommen.
Dieses Software-Gerüst wird als Harness bezeichnet. Es verwaltet Werkzeuge, Kontext, Speicher und Kontrollregeln. Erst diese Komponenten machen aus einem Modell einen Agenten, der Aufgaben über viele aufeinanderfolgende Schritte hinweg bearbeiten kann.
Im interaktiven Logik-Benchmark ARC-AGI-3 erreichte Claude Opus 5 in der Standardkonfiguration 30 %. Mit Nvidias optimiertem Harness namens Agentic Variation Operators, kurz AVO, stieg das Ergebnis auf 100 % und damit auf menschliches Leistungsniveau.
| Konfiguration | Ergebnis bei ARC-AGI-3 |
|---|---|
| Claude Opus 5 in der Standardkonfiguration | 30 % |
| Claude Opus 5 mit Nvidia AVO | 100 % |
| Nicht näher bezeichnete OpenAI-Modelle vor Anpassungen | unter 10 % |
| OpenAI-Modelle nach Änderung von zwei Harness-Parametern | dreifache Punktzahl |
Ein Supervisor hält den Agenten auf Kurs
ARC-AGI-3 besteht aus zweidimensionalen Spielen ohne Anleitung. Das System muss selbst herausfinden, welche Regeln gelten und wie sich das jeweilige Spiel gewinnen lässt. Dafür reicht es nicht, eine einzelne gute Antwort zu erzeugen. Der Agent muss frühere Schritte berücksichtigen, Irrwege erkennen und seine Strategie anpassen.
Nvidias AVO ergänzt den ausführenden Agenten um einen Supervisor-Agenten. Dieser überwacht den Arbeitsfortschritt, erkennt Sackgassen und greift ein, wenn bereits erfolglos getestete Wege erneut verfolgt werden.
Der Supervisor funktioniert sinngemäß wie ein Geschäftsführer, der eingreift, wenn der ausführende Agent vom Ziel abkommt oder sich in einer Sackgasse festläuft, erklärte Nvidia-Manager Adel El Hallak in sinngemäßer Übersetzung.
Damit wird die Steuerungslogik zu einem eigenständigen Teil der Architektur. Der Supervisor löst die Aufgabe nicht selbst, sondern kontrolliert den Prozess. Wie hoch sein zusätzlicher Token- und Rechenaufwand im Produktivbetrieb ausfällt, ist bislang nicht beziffert.
Mehrstufige Aufgaben bleiben eine Schwachstelle
Die Ergebnisse passen zu einer Microsoft-Studie, in der 19 LLMs mehrstufige Dokumentenbearbeitungen durchführen sollten. Alle getesteten Modelle erzeugten dabei fehlerhafte Ergebnisse. Leistungsfähige Einzelantworten lassen sich demnach nicht automatisch auf lange, autonome Arbeitsabläufe übertragen.
Genau an dieser Stelle entscheidet das Harness über die Qualität. Es legt fest, welche Informationen im Kontext bleiben, wann Ergebnisse geprüft werden und welche Werkzeuge ein Agent verwenden darf. Auch Grenzen für Dateizugriffe, Datenbankänderungen und externe Aktionen lassen sich auf dieser Ebene umsetzen.
Andere Ansätze verfolgen ein ähnliches Ziel. So soll AWS Dogwood falsche Tool-Aufrufe von KI-Agenten reduzieren. Der neue Standard Agent Plugins 1.0 wiederum versucht, Werkzeuge und Agenten-Komponenten portabler zu machen.
Das falsche Harness kann die Kosten verdoppeln
Die Architektur beeinflusst nicht nur die Trefferquote. Eine Untersuchung von Databricks zeigt, dass zwei Harnesses mit demselben Modell deutlich unterschiedliche Betriebskosten verursachen können. Nach Angaben von Databricks-CEO Ali Ghodsi kann die falsche Wahl die Kosten um den Faktor zwei erhöhen.
Dasselbe Modell kann je nach verwendetem Harness deutlich höhere Kosten verursachen. Allein diese Entscheidung kann die Kosten verdoppeln, so Ghodsi in sinngemäßer Übersetzung.
Ursachen können zusätzliche Modellaufrufe, unnötig große Kontexte oder wiederholte Arbeitsschritte sein. Für Unternehmen ist deshalb nicht nur der Preis pro Token relevant. Entscheidend ist, wie viele Tokens und Aufrufe das Gesamtsystem benötigt, um eine Aufgabe zuverlässig abzuschließen.
Diese Perspektive ergänzt die Diskussion über steigende Token-Kosten in der Softwareentwicklung. Ein günstiges Modell ist nicht automatisch die wirtschaftlichste Lösung, wenn das Harness ineffizient arbeitet.
Offener Agenten-Stack statt geschlossener Plattform
Nvidia wirbt auf Basis der Ergebnisse für einen offenen Agenten-Stack. Unter der Marke NeMo bietet das Unternehmen verschiedene Bausteine für den Aufbau eigener Harness-Architekturen an. Welche AVO-Komponenten vollständig veröffentlicht werden und unter welchen Lizenzen dies geschieht, ist bislang nicht bestätigt.
Für Unternehmen im DACH-Raum ist vor allem die Trennung zwischen Modell und Steuerung relevant. Werden Orchestrierung, Speicher und Zugriffsregeln selbst betrieben, lässt sich das zugrunde liegende Modell leichter austauschen. Das reduziert die Abhängigkeit von einzelnen SaaS-Anbietern und erleichtert es, Datenschutzvorgaben in der eigenen Architektur abzubilden.
Ein eigenes Harness ist allerdings kein automatischer Kostensenker. Entwicklung, Betrieb, Tests und Sicherheitskontrollen verursachen eigenen Aufwand. Die Nvidia-Ergebnisse zeigen aber, dass Investitionen in diese Schicht einen größeren Leistungshebel bieten können als der regelmäßige Wechsel auf ein neueres und teureres Modell.
Was Unternehmen jetzt prüfen sollten
Bei der Bewertung von KI-Agenten sollte das Basismodell nur ein Teil der Beschaffung sein. Ebenso wichtig sind Kontextverwaltung, Wiederholungslogik, Berechtigungen, Protokollierung und die Möglichkeit, einzelne Komponenten auszutauschen.
Für kritische Prozesse empfiehlt sich zudem eine getrennte Messung von Modellqualität und Harness-Leistung. Dazu gehören die Zahl der Modellaufrufe, der Token-Verbrauch pro abgeschlossener Aufgabe, die Fehlerquote und die Häufigkeit manueller Eingriffe.
Offene Frameworks können dabei eine Alternative zu starren Agenten-Abos bilden. Das Open-Source-Framework DeepSeek Harness zeigt beispielsweise, wie sich Agentenlogik und Erweiterungen außerhalb einer geschlossenen Plattform organisieren lassen. Der entscheidende Wettbewerbsvorteil liegt dann nicht allein im eingekauften Modell, sondern in der eigenen Prozesslogik rund um dieses Modell.