LaunchDarkly（ローンチダークリー）は、ユーザーがAgentControl内でオフライン評価データセットを直接編集できるようになったと発表した。これにより、個々のケースの調整が必要になるたびに代替ファイルをアップロードする必要がなくなった。同社はデータセットを、オフライン評価に使用される入力データの集合と説明しており、各行はAgentControlが構成に対して実行しスコアを算出する1つのケースを表す。
発表によると、AgentControlライブラリーからデータセットを開くと、新しい「Rows」タブが表示され、手動で行を作成したり、ファイルから行を追加できるようになる。このアップデートにより、行の入力、期待される出力、変数、メタデータをその場で編集できるほか、入力または期待される出力による検索、行のドラッグアンドドロップによる並べ替え、不要なエントリーの削除も可能になるとのことだ。また、ユーザーは空のデータセットから始めて、事前に完全なCSVファイルやJSONLファイルを用意する代わりに、行を段階的に追加していくこともできるとされている。
LaunchDarklyによると、編集はユーザーが「Save」をクリックするまで保留されるため、編集セッション全体を一度の操作で確定できるとのことだ。保存するたびに新しいデータセットバージョンが生成され、変更を行ったユーザー、変更日時、および結果として得られた行数が記録され、以前のバージョンを表示または復元できる機能も備わっている。同社はまた、評価実行は実行開始時のデータセットバージョンに固定されるため、その後の編集によって完了した実行結果が変更されることはない、と説明している。
セットアップに関するガイダンスについては、データセットのドキュメントを参照するよう推奨されている。
出典：LaunchDarkly
この製品の詳細については、LaunchDarkly製品ページをご覧ください。
