10億人のためのストレージ: OpenAIがChatGPTのインフラを維持する方法

ローカルコードからグローバルストレージへ

OpenAIは、分散ストレージプラットフォームであるHabitatの詳細を公開しました。もともとはPythonライブラリでしたが、現在では10億人以上のChatGPTユーザーにサービスを提供しています。このシステムは毎秒2,200万リクエストを処理し、従来のクラウドストレージの上にグローバルに分散されたレイヤーとして機能します。

生データから、スケーリングの主な障壁はGPUファームや推論だけではなく、それらにデータを供給し、会話の状態を迅速に保存する能力であったことがわかります。

孤立したストレージがボトルネックになる理由

開発者にとって、この動きはモデルのトレーニングが戦いの半分に過ぎないことを示しています。長いコンテキストを維持し、地球規模のトラフィックを処理する必要がある場合、従来のデータベースは機能しません。アーキテクチャは現在、モデルの単なるパワーではなく、ストレージをコンピュートノードにどれだけ近づけられるかに依存しています。

独自のオンプレミスエージェントやローカルクラスターを構築する企業も、同じ限界に直面するでしょう。ストレージがコンテキストを十分に速く提供できない場合、推論は遅くなります。

インフラの現実と巨大なクラウド請求書

このレポートは、運用コストがこれほどまでに膨大である理由を明らかにしています。推論チップの電力だけではありません。エコシステム全体が、それ自体で堅牢なクラウドプロバイダーになっています。OpenAIはもはや単なる研究所ではなく、ハイパースケーラーレベルの問題に直面するグローバルなインフラストラクチャプレイヤーです。

これはまた、Microsoftの支援（と資金）なしに何百万人ものサービスを実行しようとする潜在的なローカルの競合他社の限界を浮き彫りにしています。

新しいアーキテクチャの導入スピードが決定づける

Habitatまたはその後継の成功は、資金が尽きる前にOpenAIが持続可能なビジネスになり得るかどうかを示すでしょう。その証明は、これほど巨大なコンテキストウィンドウのブロックをデータセンター間で移動させながら、クエリあたりの単価を低く抑えられるかどうかにかかっています。

Lilithの判定

これはPythonコードの話ではありません。AIはもはや研究所ではなく、1秒の停止でさえ何十億もの損失を意味する、重いデータ貨物輸送であるという証明です。