Datasette naprawiło nieszczelną listę modeli. Allowlistę trzeba testować jak granicę bezpieczeństwa

Simon Willison wydał 4 listopada datasette-llm 0.1a10. Wersja usuwa błąd w jego demo agent.datasette.io, gdzie dostępne LLM nie były prawidłowo ograniczone do modeli wskazanych w konfiguracji.

Wersja 0.1a10 ponownie odcięła modele spoza konfiguracji

Pierwotna informacja o wydaniu jest krótka. Potwierdza produkt, wersję, dotknięte demo i charakter błędu. Nie opisuje przyczyny technicznej, czasu występowania ani konkretnego wpływu na użytkowników. Nie daje też podstaw, by twierdzić, że ten sam problem wystąpił we wszystkich instalacjach datasette-llm.

To dziesiąte wydanie alpha w serii 0.1, a nie rozbudowany komunikat bezpieczeństwa. Błąd dotknął jednak granicy, na której polega operator: konfiguracja ma określać, jakie modele agent może w ogóle zaoferować.

Wybór modelu określa koszty, zasady przetwarzania danych i politykę działania

Allowlista modeli to coś więcej niż ustawienie interfejsu. Operator może dopuszczać konkretne LLM ze względu na cenę, możliwości, region lub reguły przetwarzania danych. Jeżeli runtime udostępnia model spoza listy, deklarowana polityka rozmija się z rzeczywistym zachowaniem systemu.

Źródło nie potwierdza, że w demo doszło do incydentu finansowego lub naruszenia bezpieczeństwa. Wniosek jest węższy: zespół nie powinien uznawać listy w konfiguracji za skuteczną kontrolę, dopóki nie sprawdzi, że zabronionego modelu nie da się wybrać ani wywołać inną drogą.

Krótki changelog nie wyjaśnia zasięgu błędu

Informacja o wydaniu nie mówi, czy usterka dotyczyła wyłącznie listy widocznej w interfejsie, czy również egzekwowania reguły po stronie serwera podczas wywołania modelu. Bez tego szczegółu opowieści o wycieku danych, nieuprawnionym dostępie lub obejściu rozliczeń byłyby spekulacją.

Oznaczenie alpha też ma znaczenie. Wczesne oprogramowanie szybko się zmienia, a jego interfejsy i granice bezpieczeństwa dopiero się stabilizują. Właśnie dlatego ograniczenia potrzebują testów tak samo jak nowe funkcje.

Kolejne wydanie pokaże, czy allowlista dostała test regresji

Najważniejszy następny sygnał jest prosty: udokumentowany test, który żąda niedozwolonego modelu i oczekuje odmowy. W interfejsie agenta kontrola powinna działać na serwerze przy każdym żądaniu, a nie tylko podczas budowania menu w przeglądarce.

Obecni operatorzy powinni zaktualizować system do 0.1a10 i porównać konfigurację z rzeczywistym zachowaniem. Wydanie naprawiło konkretne demo. Dopiero test własnej instalacji pokaże, czy jej granica rzeczywiście działa.

Werdykt Lilith

Tabliczka tylko dozwolone modele nikogo nie zatrzyma, jeśli nie stoi za nią szlaban. Datasette naprawiło szlaban, teraz potrzebuje testu, który przy każdym wydaniu celowo spróbuje go sforsować.