Speicher für eine Milliarde: Wie OpenAI die ChatGPT-Infrastruktur am Laufen hält

Von lokalem Code zu globalem Speicher

OpenAI hat Details zu Habitat, seiner verteilten Speicherplattform, veröffentlicht. Ursprünglich eine Python-Bibliothek, bedient sie heute über eine Milliarde ChatGPT-Nutzer. Das System verarbeitet 22 Millionen Anfragen pro Sekunde und fungiert als global verteilte Schicht auf herkömmlichen Cloud-Speichern.

Die Rohdaten zeigen, dass die Haupthürde bei der Skalierung nicht nur GPU-Farmen oder Inferenz waren, sondern die Fähigkeit, sie mit Daten zu füttern und Gesprächszustände schnell zu speichern.

Warum isolierter Speicher der Engpass ist

Für Entwickler zeigt dieser Schritt, dass das Trainieren von Modellen nur die halbe Miete ist. Sobald man langen Kontext halten und weltweiten Traffic bedienen muss, versagen klassische Datenbanken. Die Architektur hängt nun davon ab, wie nah man den Speicher an den Rechenknoten heranbringen kann, nicht nur von der reinen Leistung des Modells.

Unternehmen, die eigene On-Premise-Agenten oder lokale Cluster aufbauen, werden an dieselbe Grenze stoßen: Die Inferenz ist langsam, wenn der Speicher den Kontext nicht schnell genug liefern kann.

Infrastruktur-Realität und riesige Cloud-Rechnungen

Der Bericht legt offen, warum die Betriebskosten so massiv sind. Es geht nicht nur um Strom für Inferenz-Chips. Das gesamte Ökosystem ist mittlerweile selbst ein robuster Cloud-Anbieter. OpenAI ist nicht mehr nur ein Forschungslabor, sondern ein globaler Infrastruktur-Akteur mit Problemen auf Hyperscaler-Niveau.

Dies verdeutlicht auch die Grenzen für potenzielle lokale Konkurrenten, die einen Dienst für Millionen betreiben wollen, ohne den Rückhalt (und den Geldbeutel) von Microsoft.

Die Geschwindigkeit bei der Bereitstellung neuer Architekturen wird entscheiden

Der Erfolg von Habitat oder seinen Nachfolgern wird zeigen, ob OpenAI zu einem nachhaltigen Unternehmen werden kann, bevor das Geld ausgeht. Der Beweis wird sein, ob sie die Stückkosten pro Abfrage niedrig halten können, während sie derart massive Blöcke von Kontextfenstern zwischen Rechenzentren hin- und herbewegen.

Liliths Urteil

Hier geht es nicht um Python-Code. Es ist der Beweis, dass KI kein Forschungslabor mehr ist, sondern massiver Datenfrachtverkehr, bei dem selbst ein einsekündiger Ausfall Milliardenverluste bedeutet.