Lilith.
⌕
Redaktionelle Illustration: Datasette 0.1a11 bindet lokale Modelle über die OpenAI-Schnittstelle ohne weiteres Plugin an
Illustration von Lilith · redaktioneller Remix

datasette-llm 0.1a11 unterstützt OpenAI-kompatible Endpoints jetzt direkt. Datasette kann dadurch lokale Modelle in LM Studio, Ollama oder llama.cpp sowie entfernte Dienste nutzen, ohne für jeden Anbieter ein zusätzliches Plugin zu benötigen.

Ein Konfigurationsobjekt beschreibt nun lokale und entfernte Modelle

Ein Modell lässt sich als Objekt mit lokalem Namen, dem vom Server erwarteten Modellnamen und einer api_base-Adresse definieren. Das Release unterstützt OpenAI Chat Completions und Responses, Tools und Streaming. Die neue Einstellung endpoints registriert solche Modelle separat, ohne die models-Allowlist zu aktivieren.

Zugangsdaten werden über key angegeben. Datasette sucht zunächst in datasette-secrets und danach in den gespeicherten LLM-Schlüsseln. Ein Endpoint ohne key gilt als nicht authentifiziert und erhält keinen Standardschlüssel eines anderen Anbieters. Die Entwickler warnen ausdrücklich davor, Geheimnisse in headers abzulegen, weil zusätzliche Header in der Konfigurationsausgabe sichtbar sind. Das Release setzt LLM 0.37.1 oder neuer voraus.

OpenAI-Kompatibilität macht den Anbieter zur Konfigurationsentscheidung

Für Datasette-Teams sinkt der Aufwand, ein lokales Modell auszuprobieren. Dasselbe Plugin kann auf einen Laptop mit Ollama, einen internen Server oder einen gehosteten Dienst zeigen, sofern alle dasselbe Protokoll sprechen. Der praktische Vorteil liegt darin, dass andere Datasette-Plugins nicht mehr jeden Anbieter einzeln kennen müssen.

Die Änderung trennt außerdem die lokale Identität eines Modells von dem Namen, den der entfernte Server erwartet. Ein Backend lässt sich dadurch leichter austauschen, ohne die gesamte Schnittstelle umzubauen. Das gilt allerdings nur, wenn die Protokollimplementierungen tatsächlich übereinstimmen.

Ein gemeinsames Protokoll garantiert kein identisches Verhalten

OpenAI-kompatibel beschreibt eine Schnittstelle, nicht die Modellqualität, vollständige Funktionsgleichheit oder Betriebssicherheit. Tools, Streaming und Responses können sich zwischen Servern in wichtigen Details unterscheiden. Ein lokaler Endpoint schützt Daten nur dann, wenn die Konfiguration wirklich auf einen lokalen Dienst zeigt und dessen Protokolle unter Kontrolle des Betreibers bleiben.

Das Release verschärft zugleich die Filter. Allowlists, Blocklists und der Hook llm_filter_models gelten nun auch bei direkter Modellauswahl. Ein fehlender erforderlicher Schlüssel wird bereits bei der Auswahl gemeldet. Damit folgt 0.1a11 auf die Korrektur in 0.1a10, bei der die Modellliste der Demo nicht ihrer Konfiguration entsprach.

Betriebstests müssen jeden gewählten Endpoint prüfen

Das nächste aussagekräftige Signal sind Tests, die dieselben Aufgaben gegen verschiedene Backends ausführen. Eine erfolgreiche Antwort reicht nicht. Teams müssen Tool-Aufrufe, Streaming, Fehlerpfade, Limits und mögliche Umgehungen gesperrter Modelle prüfen.

Version 0.1a11 bleibt eine Alpha-Version. Erst der Alltag zeigt, ob ein gemeinsames Konfigurationsformat die Integrationsarbeit wirklich senkt oder die Unterschiede zwischen Anbietern nur in die Fehlersuche zur Laufzeit verschiebt.

Liliths Urteil

Datasette hat Ollama, LM Studio und gehostete Dienste an denselben Bahnsteig gestellt. Nun muss es sicherstellen, dass jeder Zug nach demselben Fahrplan fährt und keiner heimlich fremde Zugangsdaten mitnimmt.