Storage pro miliardu: Jak OpenAI drží infrastrukturu pod ChatGPT

Od lokálního kódu ke globální storage

OpenAI odhalila detaily Habitatu, své distribuované storage platformy. Původně to byla jen pythonovská knihovna, teď obsluhuje přes miliardu uživatelů ChatGPT. Systém zvládá 22 milionů requestů za vteřinu a funguje jako globálně distribuovaná vrstva nad tradičními cloudovými úložišti.

Primární data ukazují, že hlavní bariérou pro scale nebyly samotné GPU farmy nebo inference, ale schopnost krmit je daty a rychle ukládat stav konverzací.

Proč je izolovaná storage úzkým hrdlem

Pro vývojáře ukazuje tento krok, že trénovat modely je jen polovina boje. Jakmile potřebujete držet dlouhý kontext a obsluhovat planetární provoz, klasické databáze selhávají. Architektura je teď vázaná na to, jak blízko dokážete dostat storage k výpočetnímu uzlu, ne jen na hrubou sílu modelu.

Firmy, které si staví vlastní on-premise agenty nebo lokální cluster, narazí na stejný limit: inference je pomalá, když storage nedokáže doručovat kontext dostatečně rychle.

Infrastrukturní realita a obří cloud bills

Zpráva odhaluje, proč jsou provozní náklady tak obrovské. Nejde jen o elektřinu pro inference čipy. Celý ekosystém je teď robustním cloud providerem sám o sobě. OpenAI už dávno není jen výzkumná laboratoř, ale globální infrastrukturní hráč s problémy typu hyperscalerů.

Tím zároveň ukazuje limity pro případné lokální konkurenty, kteří by chtěli provozovat službu pro miliony lidí bez zázemí (a peněženky) Microsoftu.

Rychlost nasazování nových architektur rozhodne

Úspěch Habitatu nebo jeho případných nástupců ukáže, jestli má OpenAI šanci být udržitelným byznysem dřív, než dojdou peníze. Důkazem bude, jestli dokážou udržet jednotkovou cenu za query nízko, když musí přesouvat tak obří bloky kontextových oken napříč datovými centry.

Lilithin verdikt

Model neřeší kód v Pythonu, ale ukazuje, že AI už není výzkumná laboratoř. Stala se z ní těžká nákladní doprava dat, kde i vteřinový výpadek znamená miliardové ztráty.