AI AGENTS

Trajectoryで専門職の評価をモデルの再訓練と配備につなげる

Trajectoryで扱う主な工程。基準設定、再訓練、モデル配備

要点

  1. 対象業務と採点基準を定め、フィードバックを使ってモデルを再訓練する。
  2. Continual GradingとGroup Size 1は研究プレビューとして紹介されている。
  3. 学習対象データの選択と訓練履歴の監査に加え、配備前の合格基準を決める必要がある。
目次

専門家が「よい仕事」の基準を教える

Trajectoryは、企業が自社業務のフィードバックを使い、AIモデルを継続して改善するためのプラットフォームである。出発点はオープンソースモデルを自社のアプリケーションに接続することだ。利用者が対象の仕事と結果の採点方法を定め、実際の出力への評価を集める。その評価を使ってモデルを再訓練し、テストを経て新しい版を配備する。

入力となるのは、業務の定義、結果を評価する基準、モデルの応答とそれに対するフィードバックである。例えば、文書から回答を作る業務なら、必要な情報を含むか、根拠と回答が対応しているかを専門家が評価する運用が考えられる。これは評価設計の例であり、その採点項目が標準機能として用意されていることを示すものではない。

採点と実運用からの学習は研究プレビュー

2026年11月2日の紹介では、訓練と配備を一つの製品で扱い、利用者が実行基盤や処理の調整を自ら管理する負担を抑える構成が示されている。出力は新しいモデルの版となり、アプリケーションの動作を評価し直す対象になる。

Continual Gradingは、少数の判断例から顧客の評価基準を学び、実運用データに適用する機能だ。手作業で評価ラベルを付ける量を減らすことを目的とする。Group Size 1は、配備後の実際のやり取りを訓練に使う機能である。どちらも研究プレビューとされており、成熟した標準機能として扱うべきではない。利用可能な範囲や評価精度は、対象業務で確認する必要がある。

学習に回すデータと配備基準を決める

向くのは、専門家が結果の良し悪しを判断でき、繰り返し得られるフィードバックをモデル改善に使いたい業務である。評価が曖昧なままでは、何を改善したかを判断しにくい。まず対象を絞り、旧版と新版を同じ条件で比較する基準を決めたい。

資料では、顧客が訓練に使うデータを選択でき、各訓練の実行を監査できると説明されている。導入時には、機密情報の除外方法、評価データの分離、配備の承認、問題が出た場合の旧版への復帰を確認したい。日本語での評価と学習の品質、料金、研究プレビューの提供条件は、提示資料からは確定できない。

参照先

Next

次に読む

Latest

AIエージェント・業務自動化の新着

すべて見る →