NEWS & DOCUMENTARYAIと人間のこれから。
RAXUS AIAIのいまを確かめて届ける。
LATEST EDITION

AWS、AIエージェント評価のOSS基盤UAEFを公開――LangGraphなど7種のアダプターでログを共通形式に正規化し、36指標で退行を検出

AWSは2026年11月11日、AIエージェントの評価システム「Universal Agent Evaluation Framework(UAEF)」を公開した。技術ブログでの発表で、コードはApache 2.0ライセンスのGitHubリポジトリawslabs/uaefにある。UAEFはLangGraphやLangChainなどフレームワークごとに形式が異なるエージェントの実行ログを、7種のアダプターで共通形式のAgentTraceに変換する。7領域36種の内蔵指標で0〜1のスコアを付け、実験履歴をAmazon DynamoDBとS3に保存して、過去のバージョンとの比較で退行を検出する。AWSによれば、通信・医療・金融の12組織が評価に使ったが、個別の成果は公表されていない。

技術ブログの発表日である11月11日に対して、GitHubリポジトリawslabs/uaefの作成は2026年9月15日だった(GitHub APIのメタデータ)。リポジトリにはPythonライブラリ、7種のアダプター、内蔵指標、デプロイ用のAWS CDKインフラ、ウェブ画面、フレームワーク別の実行ノートブックが含まれる。ライセンスはApache 2.0で、動作にはPython 3.10以上が必要だ。LLM判定を使う指標とDynamoDB・S3への保存にはAWSの認証情報が要る。

ログを共通形式に変換してから採点する

各フレームワークは、メッセージ、ツール呼び出し、エージェント間の引き継ぎをそれぞれ別の構造で記録する。このため評価ツールも特定フレームワークの形式に合わせて作られがちで、フレームワークを変えるたびに作り直しが発生する。UAEFのアダプターはLangGraph、LangChain、Strands Agents、Bedrock Agents、AgentCore、Langfuse、汎用JSONの7種をカバーし、いずれも共通形式のAgentTraceに変換する。採点以降の処理はAgentTraceだけを見るので、異なるフレームワークで作ったエージェントを同じ物差しで比べられる。

図解UAEFの評価の流れ(AWSブログの図1の説明による)
  1. 01 入力

    エージェント+データセット

    評価対象のエージェントと、質問・正解・期待するツール呼び出しを並べたデータセットを用意する。正解は必須ではなく、正解と比較する指標だけが使う。

  2. 02 正規化

    アダプター→AgentTrace

    LangGraph、LangChain、Strands Agents、Bedrock Agents、AgentCore、Langfuse、汎用JSONの7種のアダプターが、各フレームワークの実行ログを共通形式のAgentTraceに変換する。

  3. 03 検査

    個人情報の検出

    保存の前に、メールアドレス、電話番号、クレジットカード番号などの個人情報を検出して処理する。

  4. 04 採点

    7領域36指標を0〜1で

    評価エンジンが、選択された内蔵指標でAgentTraceを採点する。決定的計算と、Amazon BedrockのモデルによるLLM判定を組み合わせる。

  5. 05 保存

    DynamoDB+S3

    persistを指定すると、実験のメタデータをDynamoDBに、スコアと判定理由を含む全結果をS3のJSONに記録する。

  6. 06 比較

    ベースライン比較で退行検出

    保存済みの実験と比較し、指標ごとの変化を退行・改善・変化なしに分類して、レポートと次の改善につなげる。

AWSブログの記述に基づく。既存のトレースを渡す場合と、ARNやHTTPエンドポイント経由でUAEFがエージェントを呼び出す場合の両方に対応する。LLM判定では、判定対象のエージェント出力は信頼できない入力として処理される。

トレースの渡し方は二つある。既存の実行ログやLangfuseに保存されたトレースを渡すと、対応するアダプターが正規化する。ログがない場合は、ランタイムのARNかHTTPエンドポイントを渡せばUAEFがエージェントを呼び出し、応答を収集して変換まで行う。どちらの経路でも出力は同じAgentTraceになる。

7領域36指標の採点

評価エンジンは7領域、ツール呼び出し、回答品質、Responsible AI、性能、複数ターンの会話、複数エージェントの協調、推論を、合計36種の内蔵指標で採点する。スコアは1が最良の0〜1で正規化され、領域ごとの結果と総合結果が同じ尺度に載る。指標には、同じ入力なら同じ値を返す決定的計算と、Amazon Bedrockのモデルに判定させるLLM-as-a-judgeの二系統がある。正解データが必要な指標は、正解がないデータセットでは自動的にスキップされる。RAGASとDeepEvalの統合や独自指標の追加もできる。

図解7領域と内蔵指標の構成(READMEと指標カタログによる)
  • Tool Calling(4指標)

    代表指標
    tool_selection_accuracy、tool_sequence_correctness など
    判定方式
    決定的計算
  • Response Quality(4指標)

    代表指標
    answer_relevance、accuracy、hallucination_score など
    判定方式
    LLM判定
  • Responsible AI(4指標)

    代表指標
    safety_score、toxicity_score、prompt_injection_detection など
    判定方式
    LLM判定が中心、注入検出は決定的
  • Performance(4指標)

    代表指標
    latency_score、token_efficiency、throughput など
    判定方式
    決定的計算
  • Multi-Turn(12指標)

    代表指標
    context_retention、coherence、user_satisfaction など
    判定方式
    LLM判定が中心、turn効率は決定的
  • Multi-Agent(4指標)

    代表指標
    delegation_quality、workflow_completion など
    判定方式
    LLM判定と決定的の併用
  • Reasoning(4指標)

    代表指標
    chain_of_thought_coherence、fallacy_detection など
    判定方式
    LLM判定

内蔵36種の内訳は指標カタログの表。感情・トーン・自然さの3指標にはターン別の変種があり、レジストリ上は39項目と数える。LLM判定はAmazon Bedrockのモデルを使う。正解データを必要とする指標は、正解のないデータセットでは自動的にスキップされる。

LLM判定の信頼性について、AWSは判定対象のエージェント出力を「エージェントが判定者に影響を与えられる」信頼できない入力として扱うと説明する。ルーブリックは本文と別に送り、本文は区切り文字を壊せない形でエスケープする。判定応答は厳密に解析され、採点根拠となる本文の逐語的な引用を含まないスコアは記録せず棄却する。判定スコアは評価の信号であって安全上の決定ではないため、エージェント本体の実行時制御には別の経路でBedrock Guardrailsを使うよう求めている。

実験履歴と退行検出

persistを指定して評価すると、実験としてDynamoDBとS3に記録される。DynamoDBは一覧と比較に使うメタデータ(評価回数、指標ごとの平均、総合平均)、S3は指標ごとのスコアと判定理由を含む全結果のJSONを担う。実験の中の各実行には、フレームワーク、モデル、ツール、システムプロンプト、パラメータに加えて、設定スナップショットとGitコミットも記録でき、一つの実行をベースラインに指定できる。

比較では、二つの実行が共通で持つ指標ごとに絶対変化と百分率変化を計算し、設定可能な閾値(既定5%)で退行、改善、変化なしに分類する。退行には深刻度が付く。ウェブ画面のCompareタブも同じライブラリの比較エンジンを呼ぶので、画面とAPIで結果が一致する。

図解退行判定の閾値と深刻度(AWSブログによる)

指標ごとの変化ベースラインとの比較

  • 5%未満

    変化なし

    閾値に届かない変化は分類の対象にならない。

  • 5〜10%

    軽微(minor)

    退行として検出され、深刻度が最も低い区分。

  • 10〜20%

    中程度(moderate)

    退行として検出され、中間の深刻度が付く。

  • 20%超

    深刻(severe)

    退行として検出され、最も高い深刻度が付く。

既定の検出閾値は5%で設定変更できる。退行は領域ごとにグルーピングされて表示される。改善・変化なし・退行の分類と深刻度の区分はAWSブログの記述。

レポートと2つの利用形態

保存した結果は三つの層で読める。結果画面は総合スコア、領域のレーダーチャート、テストケースごとの表を示す。統計レポートは指標ごとの信頼区間、外れ値、分布、指標間の相関を含み、LLMを使わずスコアだけから計算されるので、同じ結果から同じレポートが生まれる。Pythonライブラリからは、Bedrockのモデルにレポートを渡して強み、弱み、原因の仮説、優先順位付きの改善案を出させることもできる。

利用形態は二つだ。Pythonライブラリはノートブック、スクリプト、CI/CDパイプラインから呼べる。デプロイ用のサービスはCDKで構築し、低コードのウェブ画面からデータセットを上げて指標を選び、評価を実行する。両者は同じ評価エンジンと保存先を使う。なお、UAEFはテナント分離を提供するプラットフォームに組み込んで使う参照アーキテクチャで、単体のマルチテナント運用は想定外だとSECURITY.mdで説明されている。

出典

  1. AWS機械学習ブログ: UAEF - A framework-agnostic system for closed-loop evaluation of AI agents公開日2026-11-11(meta published_time)。通信・医療・金融の12組織の利用、アダプターによるAgentTrace正規化、PII検査、7領域36指標の0〜1スコア、決定的計算とBedrockのLLM判定の併用、判定対象を信頼できない入力として処理し逐語引用を含まないスコアを棄却、DynamoDB/S3への実験記録、閾値既定5%と深刻度(5〜10%軽微、10〜20%中程度、20%超深刻)、領域別グルーピング、統計レポートのLLM非使用、Pythonライブラリとデプロイサービスの2形態。
  2. GitHub: awslabs/uaef(README)アダプター7種(LangGraph、LangChain、Bedrock Agents、Langfuse、Strands、AgentCore、GenericJSON)、36内蔵指標の領域別一覧、要件(Python 3.10以上、uv、LLM指標と保存にAWS認証情報)、CDKによるwith_ui/with_eksの2モード、テナント分離はホストプラットフォームの前提というSECURITY.mdの参照アーキテクチャ説明。
  3. UAEF指標カタログ(GitHubドキュメント)36内蔵指標の領域別・種別(決定的/LLM)・正解データ要否の一覧。Multi-Turnに12指標、感情・トーン・自然さのターン別変種でレジストリは39項目。RAGAS、DeepEval、Sticklerの統合分は内蔵36種とは別に数える。
  4. GitHub: awslabs/uaef LICENSE(Apache License 2.0)全文がApache License 2.0。GitHub APIのlicenseフィールドもapache-2.0。
  5. GitHub API: awslabs/uaef リポジトリメタデータリポジトリ作成2026-09-15T18:08:34Z、最終push 2026-11-13。ブログ公開日(11月11日)とリポジトリ作成日の区別の根拠。

出典の確認日 2026.11.15

KEEP EXPLORING

あわせて読みたい記事と映像

プロダクトの記事一覧
  1. Strands Decider 2Bを公開 Agentの候補選択や採点を小型モデルへ

    Strands Labsはエージェントの判断処理向けにStrands Deciderを公開した。2B系の基盤モデルを使い、候補選択、Yes・No、段階評価を返す。モデルとコード、学習手順、評価をApache 2.0で提供する。

    記事を読む
  2. Amazon Bedrock、Claudeの推論をインド国内に限定 ムンバイとハイデラバードを連携

    AWSは9月29日、Amazon BedrockでClaude Opus 5、Sonnet 5、Haiku 4.5のインド向け推論を案内した。専用の地理別プロファイルを使うと、処理先をムンバイとハイデラバードの2リージョンに限定できる。

    記事を読む
  3. GitHub、エージェントセッションを端末間で継続させる「Agent Host Protocol」の実装を解説──VS CodeとGitHubで2つのホスト実装、6言語のSDK

    GitHubは2026年11月17日、公式Engineeringブログで、AIエージェントのセッションをエディタ、スマートフォン、クラウドの間で引き継ぐオープンなプロトコル「Agent Host Protocol(AHP)」の実装構造を解説した。執筆したのは同社のプリンシパルソフトウェアエンジニア、Connor Peet氏とRob Lourens氏だ。AHPの開発は2026年前半にVS Codeで始まり、仕様は10月2日にv1.0.0、11月13日にv1.1.0として公開済みである。今回の記事は新規プロトコルの発表ではなく、VS CodeとGitHubという異なる2実装に共通で使われている構造と設計判断の開示が中心だ。

    記事を読む