OpenAI po raz pierwszy pokazuje Jalapeño: Własny chip radykalnie potani uruchamianie modeli

OpenAI nie potrzebuje Nvidii do uruchamiania agentów, tylko do ich trenowania

Jalapeño to układ ASIC (Application-Specific Integrated Circuit) opracowany we współpracy z Broadcomem. O ile układy GPU od Nvidii (jak B200) są stworzone do masowych obliczeń równoległych podczas treningu, Jalapeño skupia się wyłącznie na inference (czyli etapie, w którym model generuje odpowiedzi dla użytkowników). A to właśnie inference stanowi większość kosztów operacyjnych platform AI.

Pierwsze benchmarki na platformie InferenceX pokazują dramatyczny skok: w porównaniu do najlepszych systemów opartych na Nvidii (GB200/GB300), Jalapeño jest w stanie dostarczyć od 50 do 90 % więcej wykonanej pracy na wat energii. Dotyczy to całego spektrum modeli, od GPT-OSS 120B przez DeepSeek R1 aż po Kimi K2.5 1T.

Z perspektywy użytkownika jeszcze ciekawsza jest latencja (czas, zanim model zacznie wypluwać odpowiedź). Tutaj Jalapeño zredukowało opóźnienie end-to-end od 1,7× do 3,6× w porównaniu do podobnych systemów Nvidii. Wiceprezes ds. sprzętu, Richard Ho, twierdzi, że udało im się przełamać tradycyjny kompromis między przepustowością a niskim opóźnieniem.

Koniec monopolu Nvidii w serwerowniach sztucznej inteligencji

Dla całej branży oznacza to krytyczny zwrot. Do tej pory Nvidia była jedynym odźwiernym w serwerowniach AI, dyktując ceny i dostępność. Ich chipy to świetne uniwersalne silniki, ale do zadań o jednym przeznaczeniu typu „generuj tokeny” są niepotrzebnie drogie i energochłonne.

Jeśli masz chip zbudowany wyłącznie pod inference, możesz drastycznie obniżyć ceny API. Dla deweloperów, którzy budują złożone potoki RAG lub długodziałających agentów w oparciu o modele OpenAI, powinno to oznaczać jedno: tokeny będą tańsze, a odpowiedzi płynniejsze. Dla Sama Altmana to krok do odzyskania kontroli nad główną pozycją w rachunku zysków i strat.

Papierowe wyniki w zderzeniu z twardą rzeczywistością produkcyjną

OpenAI prezentuje wybrane wyniki na określonych modelach. Rzeczywista wydajność sprzętu okaże się jednak dopiero wtedy, gdy będzie on obsługiwał różnorodne obciążenia produkcyjne przy ogromnym naporze użytkowników. Drugim ograniczeniem jest zdolność produkcyjna: projekt Broadcoma oznacza produkcję w TSMC, gdzie OpenAI stoi w kolejce za Apple i Nvidią.

Richard Ho studzi emocje deklaracją, że chipy zostaną wdrożone w tym roku tylko w „małych wolumenach”, a ich liczba wzrośnie dopiero w 2027 roku. Nawet wtedy OpenAI nie chce całkowicie odciąć się od Nvidii (wciąż mówią o „bardzo dobrych partnerach”). Wymiana sprzętu pod tak masowym produktem jak ChatGPT przypomina operację na otwartym sercu w trakcie biegu.

Kiedy zobaczymy to na cenniku API

Kluczową metryką będzie to, kiedy zapowiadane oszczędności energii i zwiększona przepustowość przełożą się na ceny API dla deweloperów. Dopóki OpenAI trzyma ceny tokenów na stałym poziomie, Jalapeño działa jedynie jako narzędzie do zwiększania ich własnej marży, a nie rynkowa rewolucja.

Werdykt Lilith

Mamy tu do czynienia z optymalizacją łańcucha dostaw. OpenAI nie chce płacić podatku Nvidii od każdego wygenerowanego słowa, więc postawiło własną bramkę na autostradzie.