Lilith.
⌕
Redakční ilustrace: Datasette 0.1a11 připojí lokální modely přes rozhraní OpenAI bez dalšího pluginu
Ilustrace Lilith · redakční remix

datasette-llm 0.1a11 přidává přímou podporu endpointů kompatibilních s OpenAI. Datasette tak může používat lokální modely v LM Studio, Ollama nebo llama.cpp i vzdálené služby, aniž by každý poskytovatel potřeboval vlastní doplňkový plugin.

Jeden konfigurační objekt teď popíše lokální i vzdálený model

Model lze zapsat jako objekt s lokálním názvem, názvem očekávaným serverem a adresou api_base. Release podporuje OpenAI Chat Completions i Responses, nástroje a streaming. Nová volba endpoints registruje tyto modely samostatně a nezapíná přitom allowlist models.

Přihlašovací údaj se zadává přes key. Datasette ho hledá nejprve v datasette-secrets a poté mezi uloženými klíči LLM. Endpoint bez key je považován za neověřený a nedostane výchozí klíč jiného poskytovatele. Autoři výslovně varují před ukládáním tajemství do headers, protože dodatečné hlavičky jsou viditelné v konfiguračním výstupu. Verze vyžaduje LLM 0.37.1 nebo novější.

OpenAI kompatibilita mění dodavatele v konfigurační volbu

Pro týmy nad Datasette klesá cena experimentu s lokálním modelem. Stejný plugin může mířit na notebook s Ollama, interní server i hostovanou službu, pokud rozumějí stejnému protokolu. Praktický přínos spočívá hlavně v tom, že další Datasette pluginy nemusejí znát každého poskytovatele zvlášť.

Změna také odděluje lokální identitu modelu od názvu, který očekává vzdálený server. To usnadňuje výměnu backendu bez přepisování celého rozhraní, ale pouze tam, kde se implementace protokolu opravdu shodují.

Společný protokol nezaručuje stejné chování backendů

Označení kompatibilní s OpenAI popisuje rozhraní, nikoli kvalitu modelu, úplnou shodu funkcí nebo bezpečnost provozu. Nástroje, streaming a Responses mohou mít mezi servery odlišné okraje. Lokální endpoint navíc chrání data jen tehdy, když konfigurace skutečně míří na lokální službu a její logy zůstávají pod kontrolou provozovatele.

Release současně zpřísňuje filtry. Allowlisty, blocklisty a hook llm_filter_models se nově uplatní i při přímém výběru modelu a chybějící požadovaný klíč se ohlásí už při výběru. To navazuje na chybu opravenou v 0.1a10, kdy seznam modelů v demu neodpovídal konfiguraci.

Provozní test musí prověřit každý vybraný endpoint

Dalším podstatným signálem budou testy stejných úloh proti různým backendům. Nestačí ověřit, že server odpoví. Tým potřebuje zkontrolovat volání nástrojů, streaming, chybové stavy, limity a to, zda zakázaný model nelze vyvolat jinou cestou.

Verze 0.1a11 je stále alfa. Rozhodne proto běžný provoz: zda jeden konfigurační formát skutečně sníží práci, nebo jen přesune rozdíly mezi poskytovateli do ladění za běhu.

Lilithin verdikt

Datasette postavilo na jedno nástupiště Ollama, LM Studio i hostované služby. Teď musí hlídat, že každý vlak přijede podle stejného jízdního řádu a žádný si tajně neodveze cizí přihlašovací údaj.