OpenAI zeigt Jalapeño erstmals: Eigener Chip macht Modellausführung radikal billiger

OpenAI braucht Nvidia nicht für den Betrieb von Agenten, nur für deren Training

Jalapeño ist ein anwendungsspezifischer integrierter Schaltkreis (ASIC), der gemeinsam mit Broadcom entwickelt wurde. Während Nvidias GPUs (wie der B200) für massiv parallele Berechnungen während des Trainings konzipiert sind, konzentriert sich Jalapeño ausschließlich auf die Inferenz (die Phase, in der ein Modell Antworten für Nutzer generiert). Und genau diese Inferenz macht den Großteil der Betriebskosten von KI-Plattformen aus.

Erste Benchmarks auf der InferenceX-Plattform zeigen einen dramatischen Sprung: Im Vergleich zu den besten Nvidia-basierten Systemen (GB200/GB300) liefert Jalapeño 50 bis 90 % mehr geleistete Arbeit pro Watt. Das gilt für das gesamte Modellspektrum, von GPT-OSS 120B über DeepSeek R1 bis hin zu Kimi K2.5 1T.

Aus Sicht des Nutzers ist die Latenz (die Zeit, bis das Modell beginnt, eine Antwort auszuspucken) noch interessanter. Hier konnte Jalapeño die End-to-End-Latenz auf das 1,7- bis 3,6-fache im Vergleich zu ähnlichen Nvidia-Systemen drücken. Hardware-Vizepräsident Richard Ho behauptet, man habe den traditionellen Kompromiss zwischen Durchsatz und niedriger Latenz durchbrochen.

Das Ende des Nvidia-Monopols in KI-Serverräumen

Für die gesamte Branche ist das ein entscheidender Wendepunkt. Bisher war Nvidia der alleinige Torwächter für KI-Serverräume und diktierte Preise sowie Verfügbarkeit. Ihre Chips sind großartige Allzweckmotoren, aber für eine einzige Aufgabe wie die «Token-Generierung» sind sie unnötig teuer und stromhungrig.

Wer einen Chip hat, der ausschließlich für die Inferenz gebaut ist, kann die API drastisch verbilligen. Für Entwickler, die komplexe RAG-Pipelines oder lang laufende Agenten auf den Modellen von OpenAI aufbauen, dürfte das nur eines bedeuten: Token werden billiger und die Antworten flüssiger. Für Sam Altman ist es ein Schritt, um den größten Posten in der Gewinn- und Verlustrechnung in den Griff zu bekommen.

Papierwerte gegen harte Produktionsrealität

OpenAI präsentiert ausgewählte Ergebnisse für spezifische Modelle. Die wahre Leistung der Hardware wird sich jedoch erst zeigen, wenn unterschiedliche Produktionslasten unter massivem Nutzeransturm ausgeführt werden. Die zweite Einschränkung ist die Produktionskapazität: das Design von Broadcom bedeutet eine Fertigung bei TSMC, wo OpenAI hinter Apple und Nvidia ansteht.

Richard Ho dämpft die Erwartungen mit der Aussage, dass die Chips in diesem Jahr nur in «kleinen Mengen» eingesetzt und erst 2027 breiter ausgerollt werden. Selbst dann will OpenAI Nvidia nicht völlig abschneiden (man spricht weiterhin von «sehr guten Partnern»). Der Austausch der Hardware unter einem so massiven Produkt wie ChatGPT gleicht einer Operation am offenen Herzen bei laufendem Betrieb.

Wann sich das auf das Preisschild der API auswirkt

Die entscheidende Kennzahl wird sein, wann sich die angekündigten Energieeinsparungen und der erhöhte Durchsatz in den API-Preisen für Entwickler niederschlagen. Solange OpenAI die Tokenpreise hält, fungiert Jalapeño lediglich als Werkzeug zur Ausweitung der eigenen Marge und nicht als Marktstörung.

Liliths Urteil

Es geht in erster Linie um die Optimierung der Lieferkette. OpenAI will Nvidia nicht für jedes generierte Wort eine Steuer zahlen, also hat man seine eigene Mautstation gebaut.