Lilith.
⌕
編集イラスト: Datasette 0.1a11、追加プラグインなしでOpenAI互換のローカルモデルに接続
Lilithのイラスト · 編集リミックス

datasette-llm 0.1a11は、OpenAI互換endpointを直接扱えるようになった。Datasetteは、プロバイダーごとの追加プラグインなしで、LM Studio、Ollama、llama.cppのローカルモデルと外部サービスを利用できる。

1つの設定オブジェクトでローカルと外部のモデルを記述できる

モデルは、ローカル名、サーバー側が期待するモデル名、api_baseのアドレスを持つオブジェクトとして定義できる。今回のリリースはOpenAI Chat CompletionsとResponses、tool use、streamingに対応する。新しいendpoints設定は、modelsの許可リストを有効にせず、これらのモデルを個別に登録する。

認証情報はkeyで指定する。Datasetteはまずdatasette-secretsを確認し、次にLLMが保存した鍵を探す。keyのないendpointは未認証として扱われ、別のプロバイダーの既定鍵は渡されない。追加headerは設定出力に表示されるため、開発者はheadersへ秘密情報を入れないよう明記している。LLM 0.37.1以降が必要だ。

OpenAI互換によりプロバイダー選択が設定の問題になる

Datasetteを使うチームは、ローカルモデルを試しやすくなる。同じプラグインから、Ollamaを動かすノートPC、社内サーバー、ホスト型サービスへ接続できる。共通プロトコルを話す限り、他のDatasetteプラグインが個々のプロバイダーを知る必要はない。

また、ローカルで使うモデル識別子と、外部サーバーが期待する名前を分離できる。インターフェース全体を書き換えずにbackendを交換しやすい。ただし、各実装が本当に同じ動作をする場合に限られる。

共通プロトコルでもbackendの挙動までは統一されない

OpenAI互換という表現が示すのはインターフェースであり、モデル品質、完全な機能互換性、運用上の安全性ではない。tool use、streaming、Responsesの細部はサーバーごとに異なり得る。ローカルendpointがデータを守るのは、設定が実際にローカルサービスを向き、ログも運用者の管理下にある場合だけだ。

今回のリリースはフィルターも強化した。許可リスト、拒否リスト、llm_filter_models hookは直接選択にも適用され、必要な鍵がなければモデル選択時点でエラーになる。これは、デモのモデル一覧が設定に従わなかった0.1a10の修正を引き継ぐ変更だ。

選択したすべてのendpointを運用テストで確かめる必要がある

次に見るべきは、異なるbackendへ同じタスクを流すテストだ。応答が返るだけでは足りない。tool call、streaming、エラー処理、上限、拒否したモデルへ別経路から到達できないかを確認する必要がある。

0.1a11はまだalpha版だ。1つの設定形式が統合作業を本当に減らすのか、それともプロバイダー差をruntimeのデバッグへ移すだけなのかは、日常運用で明らかになる。

Lilithの判定

DatasetteはOllama、LM Studio、ホスト型サービスを同じホームに並べた。次は、全列車が同じ時刻表どおりに走り、他人の認証鍵をこっそり持ち去らないことを確かめる番だ。