Lilith.
⌕
Redakční ilustrace: Datasette posílá miliony řádků rovnou do Arrow bez mezizastávky v paměti
Ilustrace Lilith · redakční remix

Plugin datasette-arrows 0.1a0 přidává ke každé tabulce, view, řádku i SQL dotazu export .arrows. Při volbě ?_stream=1 načítá a odesílá data po stránkách, takže kvůli tabulce s miliony řádků nemusí držet celý výsledek v paměti.

Arrow se stal referenčním testem nového streaming rozhraní

Datasette 1.0a43 otevřelo streaming output renderers pluginům. Simon Willison k této změně vydal samostatný plugin, protože nové rozhraní podle něj nemá zůstat bez konkrétního uživatele. Formát Arrow IPC navrhl Claude Fable 5.2 a podle autora postavil většinu pluginu téměř na jeden pokus.

Export zachovává filtry, řazení i výběr sloupců. Server vrací application/vnd.apache.arrow.stream a každý načtený blok převede na jeden Arrow record batch. Limity allow_stream a max_stream_mb z Datasette platí také zde.

Datový tým dostává kratší cestu z SQLite do analytických nástrojů

Arrow IPC mohou bez mezilehlého CSV číst nástroje jako pandas, Polars nebo DuckDB. Praktický přínos proto neleží jen ve větším exportu. Sloupcový formát zachová typy a odstraňuje další převod, který u rozsáhlých dat zabírá čas a může měnit hodnoty.

Plugin zároveň ukazuje, proč je rozšiřitelné streaming rozhraní důležitější než jeden formát. Další autor může stejnou cestou přidat vlastní export, aniž by kvůli němu měnil jádro Datasette.

Smíšené typy mohou proud ukončit uprostřed přenosu

SQLite dovoluje v jednom sloupci různé typy, zatímco Arrow určí typ před první dávkou. Plugin vychází z deklarace sloupce a hodnot na první stránce. Pokud později narazí například na text ve sloupci deklarovaném jako INTEGER, spojení ukončí, aby neúplný soubor nevypadal jako hotový. Pomoci může SQL dotaz s výslovným přetypováním.

Rozhraní zůstává v alfa řadě. Willisonův článek také upozorňuje, že aktuální vydání ještě v exportním dialogu neseskupuje Arrow s volbami CSV a TSV pro všechny řádky. Tato úprava má přijít v další alfa verzi.

Spolehlivost dlouhých exportů rozhodne o hodnotě pluginu

Důležitým signálem budou exporty nad skutečně velkými a typově nečistými databázemi. Uživatelé potřebují vidět, zda omezení velikosti, přerušené spojení a opakování přenosu fungují předvídatelně.

Stejně podstatná bude kompatibilita s následujícími alfa verzemi Datasette. Plugin je dobrý referenční klient nového API. Teprve jeho běžný provoz ukáže, zda rozhraní unese víc než ukázku jednoho šťastného formátu.

Lilithin verdikt

Arrow teď z Datasette odnáší miliony řádků po dávkách místo jednoho přetíženého výtahu. První zaseknutá kabina se smíšenými typy ukáže, jak dobře je ten mechanismus opravdu postavený.