AI AGENTS

LangChainのLangSmithでAIエージェントの失敗を追跡・評価する

LangChainで扱う主な工程。実行追跡、失敗評価、修正検証

要点

  1. LangSmithは特定の開発フレームワークに限定されず、AIエージェントの実行・改善・統制を扱う。
  2. 実行記録と評価を使い、入力から最終回答までの失敗箇所を調べる。
  3. 2026年11月の製品説明には、修正提案と予算・フォールバック・ツールアクセスの管理が含まれる。
目次

AIエージェントが誤った回答を返したとき、最終文面だけでは原因を特定しにくい。モデルの応答、外部ツールの呼び出し、取得した情報など、途中の動きを追う必要がある。LangChainの商用製品LangSmithは、AIエージェントを実行し、改善し、統制するための基盤である。特定の開発フレームワークに限定されない点も製品説明に含まれる。

最終回答から実行記録へさかのぼる

調査の入力となるのは、エージェントの実行記録と、良否を判断するための評価材料である。例えば、社内情報を検索して回答するエージェントであれば、質問に対してどのツールを使い、何を取得し、どの応答へ至ったかを確認する。これは業務例であり、検索対象や評価基準は開発チームが用意するものだ。

観測と評価を組み合わせれば、回答の問題を調べ、修正後の動作と比較する流れを作れる。出力は利用者向けの回答だけでなく、調査に使う実行記録や評価結果でもある。記録に個人情報や社内情報が含まれる場合は、収集範囲と保存条件を先に決める必要がある。

2026年11月時点の三つの製品領域

11月13日の製品説明では、Agent Runtime、Agent Improvement、Agent Governanceの三領域が示されている。Runtimeには、オープンソースのフレームワーク、サーバー、サンドボックス、本番向けのマネージドサービスが含まれる。エージェントを作る工程から実行環境までを扱う構成だ。

Improvementは、観測、評価、実行記録を使ったファインチューニングを扱う。LangSmith Engineは、他のエージェントのエラーを探し、コードやプロンプトの修正を提案する機能として説明されている。Governanceには、モデルの予算、フォールバック、機密データ、ツールアクセスを管理するゲートウェイが含まれる。これらは11月時点の更新情報であり、1月時点の提供範囲とは区別する。

修正提案を受け入れる基準を作る

向くのは、エージェントを継続運用し、失敗を再現して改善したい開発チームである。修正提案は採用前に評価し、別の入力で動作が悪化しないかも確認する。導入時には、既存システムから記録を送れるか、評価データをどう用意するか、保存期間と閲覧権限を確認する。各機能の契約・提供条件も照合し、本番で追跡する範囲を決める必要がある。

参照先

Next

次に読む

Latest

AIエージェント・業務自動化の新着

すべて見る →