online branch: main

2026-11-18

RSS llms.txt GitHub

Agent 越能干,人为什么越需要独立验收

$

Addy Osmani 在《Agentic Verification》中提出,把验证能力交给 Agent,能让它在交付之前反复检查和修正;人的注意力则更多转向证据。这是实践建议,不是一项证明所有 Agent 都可靠的实验。原文

对产品经理来说,这个方向带来一个具体问题:执行和自检都能自动完成以后,我们凭什么决定验收通过?

我的判断是,应该把独立验收设计进任务,而不是等结果出来,再凭一份总结补上判断。这里的“独立”,主要指标准和证据不完全由交付者自己的解释决定,并不意味着每个任务都必须再请一个人重做。

自检可以很认真,也可能检查错了东西

设想一个订单导出需求:运营选择日期区间,下载这段时间的订单。

Agent 实现了功能,也写了测试。按钮能点,文件能下载,行数和测试数据一致。看起来可以验收了。

但如果需求里的“当天”指北京时间,代码和测试却都按 UTC 计算,二者会一致地通过。实现满足了测试,测试没有表达真实的业务约束。这是一个假设例子,不是某家产品的事故。

同样,CSV 里出现一行订单,并不能证明导出了全部订单;页面显示“已发送”,也不能证明收件人实际收到了邮件。验收时需要问清楚:这个信号具体证明了什么,还有哪些条件没有检查?

Anthropic 在 Agent 评估文档中明确区分执行记录与环境最终状态:预订 Agent 宣称已经订好机票,和数据库里确实存在预订,是两回事。这一区分同样适用于产品验收。来源

把“完成”写成事先可核对的条件

如果验收标准是在看到结果后才补写,就很容易沿着现有实现继续解释。更稳妥的做法,是在执行前确定少量能够决定是否交付的条件。

继续用订单导出这个例子,可以先写:

  • 日期按业务约定的时区计算,起止边界有明确规则。
  • 选定样本的订单 ID 与原始记录逐项一致。
  • 超过单页数量的订单能够完整导出。
  • 无权限的账号无法读取他人的订单。
  • 失败时给出可识别的状态,不把空文件当成成功。

这些条件仍然需要业务负责人确认。比如取消订单是否导出、退款如何呈现,都有多种合理答案,不能因为 Agent 已经选择了一种,就默认那是需求。

在任务说明里要求 Agent 列出尚未确定的业务选择,往往比追加一句“仔细检查”更有用。后者没有告诉它应该检查什么。

独立验收流程:先确定条件,再执行与留证,核对缺口后按风险放行

图:本文建议的验收流程。发现缺口时先补检查或缩小范围,再重新核对是否满足验收条件。

独立审查要拿到原始材料

再启动一个 Agent,不会自动获得可靠的第二意见。如果它只看“已完成、测试通过”的总结,可核对的信息仍然来自同一个出口。

我会给审查者四样东西:原始需求、当前产物、验收条件、实际运行证据。然后请它找出尚未被证明的条件,并指出需要哪项补充检查。生成者的解释可以作为辅助,但不能替代这些材料。

对于订单导出,审查者需要看到所用账号、输入日期、样本记录、输出文件,以及检查所针对的版本。只交一张成功截图,无法核对分页是否完整,也无法知道截图是不是修改前的结果。

可以把交付记录压缩成五项:

  1. 本次改了什么,以及对应版本。
  2. 哪些验收条件已经检查。
  3. 使用了哪些输入、命令或操作步骤。
  4. 可以复查的输出文件、日志或状态。
  5. 尚未验证的条件与已知限制。

这份记录是建议采用的工作格式,不是质量认证。即使五项齐全,证据也可能不足,标准本身也可能写错。独立审查的作用是增加发现这些问题的机会,不能承诺消除所有错误。

验收强度需要跟后果匹配

如果每次改一句按钮文案,都要求完整复测全部业务,自动化节省的时间会被审核成本吃掉。

一个可行的分层办法是:低风险、容易撤销的内部工作,使用自动检查和抽样复核;涉及关键业务流程的变更,增加独立审查和真实路径验证;会影响用户权益或难以回滚的动作,保留明确的人工放行。

这个分层是产品管理建议,需要按具体业务调整。不要只看任务规模:一行权限判断的错误,可能比整页展示样式的错误影响更大。

人工放行也不必等于逐行重做。负责人需要能够说明:为何采用这些验收条件、目前的证据能支持什么、哪些风险仍被接受。面对一个无法解释的边界问题,应当补验证或缩小交付范围。

对正在用 Agent 的团队,下一次需求评审可以先增加一栏“完成证据”。选一个真实任务,写清楚谁提供证据、谁检查、什么情况下不得放行;做完以后,再看看这套验收有没有发现实际遗漏。先把这一项跑通,再决定要不要增加更多 Agent。


来源与阅读边界

本文是面向产品工作的原创分析,订单导出为假设示例,未声称完成本地业务实测。

选题起点为 Addy Osmani 的 Critical thinking when agents do the work。本次原始页面直接读取受限,未将该文逐字引语或未经独立核对的细节作为论据。正文使用可直接读取的作者文章 Agentic Verification 与 Anthropic 的 Demystifying evals for AI agents;具体验收流程与风险分层为本文建议。