OpenAI veröffentlicht erste Messwerte für Jalapeño
OpenAI hat erste Leistungsdaten zu Jalapeño vorgelegt. Der speziell für die Ausführung von KI-Modellen entwickelte Chip soll gleichzeitig einen hohen Durchsatz, niedrige Latenz und bessere Energieeffizienz erreichen. Herkömmliche Beschleuniger müssen laut OpenAI häufiger zwischen diesen Zielen abwägen.
Getestet wurde Jalapeño mit GPT-OSS 120B, DeepSeek R1 670B und Kimi K2.5 1T. Im öffentlichen InferenceX-Benchmark erreichte der Chip nach Angaben des Unternehmens bei maximalem Durchsatz zwischen 1,5- und 1,9-mal mehr Leistung pro Watt als die jeweiligen Vergleichssysteme. Die Ende-zu-Ende-Latenz fiel je nach Modell um den Faktor 1,7 bis 3,6 niedriger aus.
| Modell | Vergleichssystem | Mehr Spitzenleistung pro Watt | Faktor bei der Latenz |
|---|---|---|---|
| GPT-OSS 120B | Nvidia GB200 | ca. 1,9-mal | ca. 1,7-mal niedriger |
| DeepSeek R1 670B | Nvidia GB300 | ca. 1,7-mal | ca. 3,6-mal niedriger |
| Kimi K2.5 1T | Nvidia GB300 | ca. 1,5-mal | ca. 3,4-mal niedriger |
Jalapeño ist mit einer thermischen Verlustleistung von 700 W spezifiziert. Bei den gemessenen Arbeitslasten lag die dauerhaft aufgenommene Leistung laut OpenAI bei höchstens 550 W. Die Vergleichswerte wurden anhand der veröffentlichten Leistungsaufnahme der jeweiligen Beschleuniger normalisiert.
Die Ergebnisse stammen vom Hersteller selbst. Sie zeigen ein technisches Potenzial, ersetzen aber keine unabhängige Bewertung von Anschaffungskosten, Verfügbarkeit und Leistung im dauerhaften Produktionsbetrieb.
Warum niedrige Latenz für KI-Agenten wichtig ist
Bei klassischen Chat-Anfragen fällt eine zusätzliche Sekunde hauptsächlich als Wartezeit auf. KI-Agenten führen dagegen oft viele Modellaufrufe und Werkzeugaktionen nacheinander aus. Verzögerungen summieren sich deshalb über den gesamten Arbeitsablauf.
OpenAI gibt für Jalapeño je nach Modell eine 2,7- bis 4,1-mal kürzere minimale Zeit zwischen zwei ausgegebenen Tokens an. Diese Kennzahl wird als Time Between Tokens bezeichnet und beeinflusst, wie flüssig eine Antwort erzeugt wird. Für interaktive Arbeitslasten meldet das Unternehmen insgesamt eine 2,1- bis 4,1-mal höhere Leistung.
Die wirtschaftliche Bedeutung ist erheblich, da Inferenzkosten von KI-Agenten stark steigen könnten. Ein effizienterer Beschleuniger kann mehr Agentenschritte mit derselben Strommenge und Infrastruktur ausführen. Ob diese Einsparung später bei API-Kunden ankommt, bleibt offen.
Chip, Speicher und Netzwerk gemeinsam entwickelt
Jalapeño wurde nicht als isolierter Prozessor konzipiert. OpenAI hat Chip, Speicher, Netzwerk, Systemsoftware und Rack-Infrastruktur gemeinsam auf die verschiedenen Phasen einer Sprachmodellanfrage ausgerichtet.
Beim Prefill verarbeitet das System zunächst den vollständigen Prompt, was vor allem Rechenleistung benötigt. Beim anschließenden Decode entstehen die Antwort-Tokens nacheinander, wobei die Speicherbandbreite stärker ins Gewicht fällt. Zusätzlich müssen Zwischenergebnisse zwischen Rechenkernen und Chips transportiert werden.
Jalapeño soll diese Datenbewegungen reduzieren. Dazu kann der sogenannte KV-Cache, ein Speicher für bereits verarbeitete Kontextinformationen, gezielt nahe an den benötigten Recheneinheiten gehalten werden. Das integrierte Netzwerk soll verhindern, dass Verarbeitungseinheiten unnötig auf Daten warten.
Damit verfolgt OpenAI einen ähnlichen strategischen Ansatz wie andere große KI-Anbieter, die sich von Standardbeschleunigern unabhängiger machen wollen. Auch Anthropic baut ein eigenes Chipdesign-Team auf. Nvidia-Hardware soll bei OpenAI dennoch weiterhin für Training und Inferenz eingesetzt werden.
KI beschleunigte die Entwicklung des Chips
Nach Angaben von OpenAI dauerte es neun Monate vom ersten Design bis zum Tapeout, also dem Abschluss des Chipentwurfs für die Fertigung. KI-Modelle halfen dabei, Schaltungen zu optimieren, Varianten zu untersuchen und Prüfzyklen zu verkürzen.
Auch die Programmierung des Beschleunigers wurde auf KI-Unterstützung ausgelegt. Mit Codex und GPT-Astra optimierte das Entwicklungsteam innerhalb von zwei Monaten drei Open-Weight-Modelle für Jalapeño. Bei ausgewählten Rechenblöcken für Aufmerksamkeit und Mixture-of-Experts waren KI-generierte Implementierungen 1,5- bis 1,8-mal schneller als bestehende, von Fachleuten geschriebene Varianten.
Diese Werte beziehen sich ausdrücklich nur auf einzelne Blöcke und nicht auf vollständige Modelle. Dennoch zeigt sich, wie KI die Entwicklung spezialisierter Hardware und der dazugehörigen Software enger verzahnen kann. Einen vergleichbaren Fokus auf das Gesamtsystem verfolgt OpenAIs Ultrafast-Angebot mit Cerebras-Hardware.
Rollout bis Ende 2026 geplant
OpenAI will Jalapeño bis Ende 2026 schrittweise in der eigenen Recheninfrastruktur einsetzen. Eine zweite Generation befindet sich bereits in fortgeschrittener Entwicklung, während Gen 3 vorbereitet wird. Vor dem breiten Einsatz stehen noch Produktionsfreigaben, Softwarearbeiten und Tests mit weiteren Modellen an.
Für Unternehmen im DACH-Raum ist Jalapeño vorerst kein direkt beschaffbares Infrastrukturprodukt. Der Effekt wäre zunächst über schnellere OpenAI-Dienste, stabilere Kapazitäten oder niedrigere API-Preise spürbar. Zu Preisen oder verbindlichen Effizienzvorteilen für Kunden hat OpenAI bislang keine Angaben gemacht.
Strategisch verstärkt der eigene Chip zugleich die vertikale Integration des Anbieters. OpenAI kontrolliert damit mehr Ebenen vom Modell über die Systemsoftware bis zur Hardware. Das kann Kosten und Leistung verbessern, erhöht für Kunden aber potenziell den Vendor-Lock-in, weil sich die Vorteile nur innerhalb der OpenAI-Infrastruktur nutzen lassen.