2026-11-18 · ← Aktualności
Datasette wysyła miliony wierszy prosto do Arrow bez postoju w pamięci
Plugin datasette-arrows 0.1a0 dodaje do Datasette eksport Arrow IPC i wysyła dane strona po stronie. To praktyczny pokaz nowego interfejsu streamingu, choć wersja alfa nadal odsłania szwy między pluginem a rdzeniem.
Nie udało się wczytać obrazu.
Plugin datasette-arrows 0.1a0 dodaje eksport .arrows do każdej tabeli, widoku, wiersza i strony zapytania SQL. Po użyciu ?_stream=1 pobiera i wysyła dane strona po stronie, więc tabela z milionami wierszy nie musi w całości trafiać do pamięci.
Arrow stał się testem referencyjnym nowego streamingu w Datasette
Datasette 1.0a43 otworzyło streaming output renderers dla pluginów. Simon Willison wydał wraz z tą zmianą osobny plugin, bo nowe API powinno od razu mieć konkretnego użytkownika. Format Arrow IPC zaproponował Claude Fable 5.2, który według autora zbudował większość pluginu niemal za jednym podejściem.
Eksport zachowuje filtry, sortowanie i wybór kolumn. Serwer zwraca application/vnd.apache.arrow.stream, a każdą pobraną stronę zamienia w jeden Arrow record batch. Obowiązują też limity allow_stream i max_stream_mb z Datasette.
Zespół danych dostaje krótszą drogę z SQLite do narzędzi analitycznych
Arrow IPC mogą czytać bez pośredniego CSV narzędzia takie jak pandas, Polars czy DuckDB. Korzyść nie sprowadza się więc do rozmiaru eksportu. Format kolumnowy zachowuje typy i usuwa dodatkową konwersję, która przy dużych zbiorach zajmuje czas lub zmienia wartości.
Plugin pokazuje też, dlaczego rozszerzalny streaming jest ważniejszy od jednego formatu. Kolejny autor może dodać własny eksporter tą samą drogą, bez modyfikowania rdzenia Datasette.
Niejednorodne typy w SQLite mogą przerwać strumień w połowie
SQLite pozwala przechowywać różne typy wartości w jednej kolumnie, natomiast Arrow deklaruje typ przed pierwszą partią. Plugin ustala go na podstawie deklaracji kolumny i pierwszej strony. Gdy później znajdzie tekst w kolumnie zadeklarowanej jako INTEGER, zrywa połączenie, aby niepełny plik nie wyglądał na ukończony. Rozwiązaniem jest jawne rzutowanie w SQL.
Integracja pozostaje wersją alfa. Willison zaznacza również, że bieżące wydanie nie grupuje jeszcze Arrow z opcjami CSV i TSV dla wszystkich wierszy w oknie eksportu. Ta zmiana interfejsu ma trafić do kolejnej alfy.
Długie eksporty z nieczystych danych rozstrzygną o użyteczności pluginu
Najwięcej powiedzą naprawdę duże bazy z niespójnymi typami. Użytkownicy potrzebują przewidywalnej obsługi limitów rozmiaru, przerwanych połączeń i ponawiania transferu.
Równie ważna będzie zgodność z następnymi wersjami alfa Datasette. Plugin jest wiarygodnym klientem referencyjnym nowego API. Dopiero codzienne użycie pokaże, czy interfejs uniesie coś więcej niż udany pokaz jednego formatu.
Werdykt Lilith
Arrow wynosi teraz z Datasette miliony wierszy partiami, zamiast wciskać je do jednej przeciążonej windy. Pierwsza kabina zatrzymana przez mieszane typy pokaże, jak solidny jest cały mechanizm.