大手ソフトウェア企業LaunchDarklyは、ユーザー独自のモデルの統合をサポートする新しいAI Configsの早期アクセスの提供を発表した。この新機能は、モデルを微調整したり、ローカルハードウェアで実行したりするための前例のない柔軟性を提供する。同社は、OllamaとLaunchDarkly AI構成を使って、2つのオープンソースモデル、DeepSeek-R1とAlibabaのQwenを比較し、この新機能の機能を実証した。
ローカルハードウェアで大規模言語モデル（LLM）を実行すると、クラウド提供のモデルを使う場合に比べていくつかの利点がある。これには、データを完全に制御できるためデータのプライバシーが強化され、インターネット接続なしで作業できることが含まれる。さらに、ローカルモデルは実行に必要な電力が少ないため、より持続可能でコスト効率に優れている。ローカルハードウェアでLLMを実行するために使用されるOllamaなどのオープンソース ツールを使うことで、モデルをローカルで実行するプロセスが簡素化された。
適切なモデルの選択は、ユースケース、ハードウェア、レイテンシー、精度要件などのさまざまな要因によって異なる。DeepSeekは、1月にオープンソースのR1推論モデルをリリースして注目を集めた。これらのオープンソースのDeepSeekモデルは、QwenモデルまたはLlamaモデルを抽出したもので、より大規模で複雑なモデルの動作と知識を模倣するようにトレーニングされた、より小型で効率的なモデルだ。
LaunchDarklyの新機能により、Ollamaをインストールして設定し、テストクエリーを実行して結果が生成されることを確認してから、Node.jsプロジェクトに接続できる。その後、ユーザーはカスタムモデルをLaunchDarkly AI Configsに追加し、AI Configsのバリエーションを作成し、LaunchDarkly AI ConfigsをOllamaに接続できる。このプロセスにより、レイテンシー、トークンの使用状況、生成数などの指標を追跡できるため、ニーズに最適なモデルを決定できる。
これらの機能に加えて、LaunchDarklyのAI構成では高度なターゲティング機能も提供される。例えば、潜在的に価値の高い顧客に対してより高価なモデルを使用し、ユーザーのaccept-langヘッダーで指定された言語でトレーニングされたモデルを提供することで、より言語的にローカライズされたエクスペリエンスを提供できる。LaunchDarklyのこの新機能は、ランタイムモデル管理における大きな前進であり、ユーザーにAIモデルの管理におけるより多くの制御と柔軟性を提供する。
出典：LaunchDarkly
この製品の詳細については、製品ページをご覧ください。
