Gartner warnt vor steigenden Kosten für KI-Agenten
Die Inferenzkosten pro KI-Agenten-Workflow könnten sich bis 2028 verfünffachen. Das prognostiziert das Marktforschungsunternehmen Gartner. Mit Inferenz ist die Verarbeitung von Eingaben und die Erzeugung von Ausgaben durch ein bereits trainiertes KI-Modell gemeint.
Die Prognose widerspricht der verbreiteten Annahme, dass fallende Tokenpreise automatisch zu niedrigeren Gesamtkosten führen. Tatsächlich ermöglichen günstigere Modelle umfangreichere Abläufe. Diese verbrauchen durch zusätzliche Schritte deutlich mehr Token.
Welche absoluten Kosten Gartner als Ausgangswert verwendet, ist nicht bekannt. Auch konkrete Modelle oder Anbieter nennt die Analyse nicht. Die erwartete Verfünffachung beschreibt daher eine relative Entwicklung pro Workflow, keine belastbare Euro-Prognose für ein einzelnes Unternehmen.
Das Inferenz-Paradox treibt den Verbrauch
Ein einfacher Chatbot verarbeitet eine Anfrage und erzeugt eine Antwort. Ein KI-Agent arbeitet dagegen in Schleifen. Er plant Teilschritte, ruft Werkzeuge oder weitere Modelle auf, bewertet Ergebnisse und korrigiert gegebenenfalls den eigenen Ansatz.
| Merkmal | Einfacher Chatbot | KI-Agent |
|---|---|---|
| Ablauf | Anfrage und Antwort | Mehrstufige, iterative Bearbeitung |
| Modellaufrufe | In der Regel wenige | Mehrfachaufrufe innerhalb eines Workflows |
| Tokenverbrauch | Relativ gut begrenzbar | Abhängig von Planung, Werkzeugen und Kontrollschleifen |
| Kostenplanung | Vergleichsweise übersichtlich | Schwer pro Geschäftsvorgang kalkulierbar |
Gartner bezeichnet diese Entwicklung als Inferenz-Paradox. Die Fähigkeiten der Systeme wachsen demnach schneller, als die Preise pro Token sinken. Preisnachlässe bei einzelnen APIs, wie zuletzt bei OpenAIs günstigeren API-Modellen, lösen das strukturelle Problem deshalb nicht automatisch.
Sinngemäß erklärt Gartner-Analyst Will Sommer: Ein Chatbot muss eine Anfrage interpretieren und eine plausible Antwort liefern. Ein KI-Agent muss dagegen fortlaufend Schlussfolgerungen ziehen, Entscheidungen abstimmen und die eigenen Ergebnisse hinterfragen.
Ein verlässliches Kostenmodell fehlt
Laut Gartner existiert derzeit kein verlässliches und wirtschaftlich tragfähiges Kostenmodell pro Einheit. Für Unternehmen ist damit nicht nur der Preis pro Million Token entscheidend. Relevant sind die Kosten pro abgeschlossenem Auftrag, geprüftem Dokument oder automatisiertem Geschäftsprozess.
Besonders riskant sind Agenten, deren Zahl an Arbeitsschritten nicht klar begrenzt ist. Fehlversuche, erneute Werkzeugaufrufe und Selbstkontrollen können den Verbrauch erhöhen. Bereits heute zeigen Praxisbeispiele, dass Tokenkosten große Teile eines Entwicklerbudgets beanspruchen können.
Produktverantwortliche können laut Sommer nicht darauf vertrauen, dass eine effizientere Token-Ökonomie die Gesamtkosten dauerhaft senkt. Neue Funktionen benötigen mehr und teilweise teurere Token. Wettbewerbsfähige Produkte erfordern deshalb dauerhaft betriebene Ökosysteme aus mehreren Modellen, sinngemäß übersetzt.
Model-Routing wird zur Pflichtaufgabe
Gartner hält mehrstufige Architekturen mit Inferenz-Tiering, Model-Routing und Orchestrierung für notwendig. Inferenz-Tiering bedeutet, Aufgaben je nach Schwierigkeit unterschiedlichen Modellklassen zuzuweisen. Model-Routing entscheidet automatisiert, welches Modell für einen konkreten Arbeitsschritt ausreicht.
Ein teures Spitzenmodell sollte dann nur Aufgaben erhalten, die dessen Fähigkeiten tatsächlich benötigen. Klassifikation, Datenextraktion oder einfache Prüfungen lassen sich häufig an kleinere Modelle delegieren. Technische Ansätze wie ein Router zwischen spezialisierten Modellen zeigen, wie eine solche Verteilung grundsätzlich aufgebaut werden kann.
Diese Architektur senkt jedoch nicht nur Kosten. Sie erhöht auch den Betriebsaufwand. Unternehmen müssen Modellqualität, Latenz, Ausfälle und Preisänderungen über mehrere Anbieter hinweg überwachen.
Was die Prognose für DACH-Unternehmen bedeutet
Für Unternehmen im DACH-Raum entsteht vor allem ein Budgetrisiko. Wer Agenten-Piloten ausschließlich auf proprietären Cloud-APIs aufbaut, koppelt die Wirtschaftlichkeit an Preise, Limits und Produktentscheidungen externer Anbieter. Selbst entwickelte Agenten verhindern diese Abhängigkeit nicht automatisch, wie die Abhängigkeit eigener Agenten von Anthropic verdeutlicht.
Eine belastbare Kalkulation sollte deshalb Limits für Modellaufrufe, Token und Wiederholungen enthalten. Zusätzlich braucht es Messwerte pro abgeschlossenem Geschäftsvorgang. Nur so lässt sich erkennen, ob ein Agent tatsächlich Arbeitskosten reduziert oder lediglich API-Kosten verschiebt.
Open-Source-Modelle und Self-Hosting können die Abhängigkeit von einzelnen API-Anbietern verringern. Sie beseitigen die Inferenzkosten aber nicht, sondern verlagern sie teilweise auf eigene Infrastruktur, Betrieb und Fachpersonal. Entscheidend ist daher eine Architektur, in der Cloud-APIs, lokale Modelle und klassische Software je nach Aufgabe kombiniert werden können.
Viele Agenten-Projekte dürften vorher scheitern
Gartner hatte bereits prognostiziert, dass bis 2027 mehr als 40 % der geplanten oder aktiven KI-Agenten-Projekte eingestellt werden. Als Gründe nennt das Unternehmen steigende Kosten, fehlenden Return on Investment und unzureichende Risikokontrolle.
Die wirtschaftliche Prüfung sollte damit vor der breiten Automatisierung beginnen. Ein technisch funktionierender Agent ist noch kein tragfähiger Geschäftsprozess. Ohne Kostenobergrenzen, Routing und klare Erfolgskennzahlen kann aus einem günstigen Pilotprojekt schnell ein schwer kalkulierbares Dauersystem werden.