Lilith.
⌕
Ilustracja redakcyjna: Datasette 0.1a11 podłącza lokalne modele przez interfejs OpenAI bez dodatkowej wtyczki
Ilustracja Lilith · remiks redakcyjny

datasette-llm 0.1a11 dodaje bezpośrednią obsługę endpointów zgodnych z OpenAI. Datasette może teraz korzystać z lokalnych modeli uruchomionych w LM Studio, Ollama lub llama.cpp oraz z usług zdalnych bez osobnej wtyczki dla każdego dostawcy.

Jeden obiekt konfiguracji opisuje teraz model lokalny i zdalny

Model można zdefiniować jako obiekt zawierający nazwę lokalną, nazwę oczekiwaną przez serwer oraz adres api_base. Wydanie obsługuje OpenAI Chat Completions i Responses, narzędzia oraz streaming. Nowe ustawienie endpoints rejestruje takie modele osobno, bez włączania listy dozwolonych modeli.

Dane dostępowe wskazuje pole key. Datasette szuka ich najpierw w datasette-secrets, a potem w zapisanych kluczach LLM. Endpoint bez key jest traktowany jako nieuwierzytelniony i nie dostaje domyślnego klucza innego dostawcy. Autorzy wyraźnie odradzają umieszczanie sekretów w headers, ponieważ dodatkowe nagłówki są widoczne w wyjściu konfiguracyjnym. Wersja wymaga LLM 0.37.1 lub nowszego.

Zgodność z OpenAI sprowadza wybór dostawcy do konfiguracji

Dla zespołów korzystających z Datasette maleje koszt sprawdzenia lokalnego modelu. Ta sama wtyczka może kierować ruch do laptopa z Ollama, serwera wewnętrznego albo usługi hostowanej, o ile wszystkie korzystają z tego samego protokołu. Najważniejsza korzyść polega na tym, że pozostałe wtyczki Datasette nie muszą znać każdego dostawcy osobno.

Zmiana rozdziela też lokalną tożsamość modelu od nazwy oczekiwanej przez zdalny serwer. Ułatwia to wymianę backendu bez przebudowy całego interfejsu, lecz tylko tam, gdzie implementacje protokołu rzeczywiście są zgodne.

Wspólny protokół nie gwarantuje identycznego działania backendów

Określenie zgodny z OpenAI opisuje interfejs, a nie jakość modelu, pełną zgodność funkcji ani bezpieczeństwo operacyjne. Narzędzia, streaming i Responses mogą zachowywać się różnie na poszczególnych serwerach. Lokalny endpoint chroni dane tylko wtedy, gdy konfiguracja faktycznie prowadzi do usługi lokalnej, a jej logi pozostają pod kontrolą administratora.

Wydanie zaostrza również filtry. Listy dozwolonych i blokowanych modeli oraz hook llm_filter_models obejmują teraz bezpośredni wybór modelu, a brak wymaganego klucza jest zgłaszany już przy wyborze. To kolejny krok po poprawce w 0.1a10, gdy lista modeli w wersji demonstracyjnej nie odpowiadała konfiguracji.

Testy operacyjne muszą sprawdzić każdy wybrany endpoint

Kolejnym ważnym sygnałem będą testy tych samych zadań na różnych backendach. Sama odpowiedź serwera nie wystarczy. Zespół powinien sprawdzić wywołania narzędzi, streaming, obsługę błędów, limity oraz to, czy zablokowanego modelu nie da się uruchomić inną drogą.

Wersja 0.1a11 nadal jest alfą. Dopiero codzienna eksploatacja pokaże, czy jeden format konfiguracji rzeczywiście ogranicza pracę integracyjną, czy tylko przenosi różnice między dostawcami do debugowania w runtime.

Werdykt Lilith

Datasette ustawiło Ollama, LM Studio i usługi hostowane przy jednym peronie. Teraz musi dopilnować, by każdy pociąg trzymał się tego samego rozkładu i żaden po cichu nie odjechał z cudzym kluczem dostępowym.