内容纲要
导语
LLM智能体具有概率性和非确定性，性能随时间、数据分布、协作结构波动，传统一次性测试无法覆盖生产风险。评估与监控模式通过静态评测 + 动态观测 + 合同式交付持续验证“做对事”与“把事做好”，并驱动优化迭代。本文总结指标体系、评估方法、ADK工作流与实施步骤，帮助你构建上线即监控的智能体系统。
TL;DR
- 核心：评估与监控模式通过静态评估、动态监控、反馈闭环，让智能体在动态环境中保持可用性、可靠性与可解释性。
- 指标：有效性、效率、可靠性、轨迹质量、合规/安全，多维度衡量性能。
- 方法：静态评估（基准任务、Agent-as-a-Judge、轨迹比对）、动态监控（实时指标、漂移检测、A/B和合同式评估）、反馈闭环（异常样本写入知识库或再训练）。
- ADK实践：单元级Tests、集成级Evalset、轨迹日志与Web UI，支持CI/CD与可视化分析。
- 步骤：定义成功标准→构建评估资产→接入监控→自动化执行→闭环治理。
是什么：指标体系与价值
| 维度 | 指标示例 | 说明 |
|---|---|---|
| 有效性 | 准确率、目标达成率、主观有用性评分 | 由人工、LLM裁判或业务KPI评估 |
| 效率 | 延迟、吞吐、Token/成本、工具调用次数 | 关注资源使用与体验 |
| 可靠性 | 成功率、错误率、异常告警、漂移检测 | 监控概率性失效与数据变化 |
| 轨迹质量 | 步骤合法性、计划偏差、冗余/回退比 | 针对多步骤Agent的过程分析 |
| 合规/安全 | 违规率、审核通过率、护栏触发率 | 与护栏安全模式联动 |
价值总结：
- 确保智能体输出可控、可回溯
- 快速发现性能衰退或漂移
- 指导优化优先级和资源投入
- 满足合规与业务交付要求
怎么做：评估与监控三步法
1. 静态评估（离线）
- 基准任务：离线数据集 + 期望输出（文本或结构化），定期跑分。
- Agent-as-a-Judge：使用裁判模型或多Agent投票评审质量。
- 轨迹比对：将真实执行路径与“理想计划”对比，发现偏差与无效步骤。
2. 动态监控（在线）
- 实时指标：延迟、Token、工具成功率、用户反馈、成本。
- 漂移检测：输入/输出分布或业务指标异常触发警报。
- A/B与合同式评估：不同版本并行上线，通过“合同”定义交付物、约束与验收标准，支持自动回滚。
3. 反馈闭环
- 将异常案例、人工评审结果写入知识库或再训练数据。
- 结合反思/目标监控，驱动自动调参或策略微调。
- 把评估结果输入优先级排序，优化迭代计划。
ADK评估与监控工作流
| 层级 | 内容 | 工具 |
|---|---|---|
| 单元级 (Tests) | 在 <code>tests/</code> 中定义输入、工具 mock 与预期输出 | <code>pytest</code> + <code>AgentEvaluator</code> |
| 集成级 (Evalset) | 在 YAML/JSON <code>evalset</code> 中描述场景、指标、裁判规则 | ADK CLI / Web UI，支持批量运行与CI/CD |
| 轨迹与日志 | 保存会话、步骤、耗时、状态，便于复盘 | ADK Web UI + 结构化日志 |
实践要点：
- 评估前先构建黄金数据集和Rubric
- 结合LLM裁判与人工抽检
- 在CI/CD与灰度阶段自动跑Evalset
- 使用合同式评估定义交付物和回滚条件
实施五步法
- 定义成功标准：与业务方共建 KPI + 质量维度 + 护栏阈值。
- 构建评估资产：基准数据集、判分脚本、轨迹模板、模拟环境。
- 接入监控平台：埋点请求、模型、工具、成本；配置告警和仪表盘。
- 自动化执行：在 CI/CD、灰度、夜间批次中运行评估套件，结合 LLM 裁判。
- 闭环治理：异常触发调查、复现与修复；更新合同/提示/策略并记录版本。
常见错误与排错
| 问题 | 症状 | 修复建议 |
|---|---|---|
| 指标单一 | 评估结果失真 | 结合客观指标（准确率、延迟）与主观指标（用户评分） |
| 评估资产缺失 | 无法复现问题 | 构建黄金数据与轨迹模板，版本化评估脚本 |
| 漂移未检测 | 性能突然下降 | 维护对照数据，使用统计检验或异常检测模型 |
| 线上故障难回溯 | 日志缺失 | 记录 prompt、工具调用、版本、置信度 |
| 评估成本过高 | 运行时间长 | 分层策略：关键路径频繁评估，长尾场景抽样 |
FAQ
Q1：如何评价主观输出？
A：结合LLM裁判 + 人工抽检 + 明确评分Rubric，避免单一角度偏差。
Q2：多智能体如何评估？
A：关注整体任务完成率与协作指标（交互轮数、等待时间、冲突次数），结合轨迹质量分析。
Q3：漂移怎么监控？
A：维护“黄金数据”对照，使用分布统计、异常检测模型，漂移超阈值触发再训练或回滚。
Q4：线上故障如何回溯？
A：依赖结构化日志（prompt、工具、决策）和版本化配置，支持一键回滚。
Q5：评估成本过高怎么办？
A：采用分层策略，关键路径频繁评估，长尾场景抽样或定期复测；使用轻量LLM裁判。
总结
评估与监控模式让智能体上线后仍能持续“体检”：通过静态评估、动态监控、反馈闭环，持续验证模型性能、资源使用、合规安全与轨迹质量。结合ADK评估工作流与实施五步法，可以在CI/CD、灰度、生产阶段建立一套“上线即监控”的标准流程，与异常处理、护栏安全、人机协作等模式共同构建可用、可靠、可解释的智能体系统。