Lilith.
⌕
編集イラスト: Datasetteが数百万行をメモリに抱えずArrowへ直接配信する
Lilithのイラスト · 編集リミックス

datasette-arrows 0.1a0は、すべてのテーブル、ビュー、行、SQLクエリ画面に.arrows形式の書き出しを加える。?_stream=1を指定するとページ単位で取得して送信するため、数百万行の結果全体をメモリに置く必要がない。

Arrowが新しいストリーミング機構の実用テストになった

Datasette 1.0a43は、ストリーミング形式のoutput rendererをプラグインに開放した。Simon Willisonは、新しいインターフェースには具体的な利用例が必要だとして、この変更と対になるプラグインを公開した。Arrow IPCはClaude Fable 5.2が提案し、Willisonによればプラグインの大半もほぼ一度で構築した。

書き出しではフィルター、並び順、列の選択が保たれる。サーバーはapplication/vnd.apache.arrow.streamを返し、取得した各ページを1つのArrow record batchに変換する。Datasetteのallow_streamとmax_stream_mbも適用される。

データ担当者はSQLiteから分析環境へ短い経路を得る

pandas、Polars、DuckDBなどは、中間のCSVを挟まずArrow IPCを読める。利点は大容量を書き出せることだけではない。列指向形式が型を保ち、大規模データで時間を使ったり値を変えたりする追加変換を減らす。

このプラグインは、拡張可能なストリーミング機構が単一形式より重要な理由も示す。別の開発者はDatasette本体を変えず、同じ経路で独自のexporterを追加できる。

SQLiteの混在型は転送途中でストリームを止めうる

SQLiteは1列に異なる型の値を許すが、Arrowは最初のbatchより前に型を決める。プラグインは列宣言と最初のページから型を推定する。後のページでINTEGER列にテキストが現れる場合などは、不完全なファイルを完成品に見せないため接続を切る。SQLで明示的にcastすれば回避できる。

統合はまだアルファ段階だ。Willisonは、現行版の書き出し画面ではArrowがCSVやTSVの全行オプションとまだ同じ場所にまとまっていないとも説明する。次のアルファで変更する予定だ。

長く不均一なデータの書き出しが実用性を決める

本当の評価材料は、型が揃っていない大規模データベースから得られる。サイズ上限、接続切断、再試行が予測可能に動くかを確かめる必要がある。

今後のDatasetteアルファ版との互換性も同じく重要だ。このプラグインは新APIの有力な参照実装である。日常運用を重ねて初めて、インターフェースが一つの相性の良い形式以上を支えられるか分かる。

Lilithの判定

ArrowはDatasetteの数百万行を、満員のエレベーター1台ではなく小分けで運ぶ。型の混在で最初の1台が止まった時、仕組みの本当の出来が見える。