online branch: main

2026-11-18

RSS llms.txt GitHub

浏览器 Agent 能点按钮,离放心交活还有多远?

$
浏览器 Agent 的操作与结果验收

让 AI 打开网页、点击按钮,已经不算什么新鲜事。

但换一个任务试试:打开后台,整理上周的用户评论,筛出需要跟进的问题,最后把结果写进表格。

这个任务看起来不过是几个网页操作。真正做起来,却有一串问题:评论有没有加载完整?筛选条件有没有选对?中途断了怎么办?写进表格的是不是对应的那批数据?

Agent 能操作页面,只说明它能迈出第一步。我们想要的,是它能把事情做对。

潦草学者的《浏览器操控的苦涩教训》回顾了 Tabbit 团队做浏览器操作的经历:早期尝试让 Agent 像人一样看页面、点击、输入;后来随着模型的代码能力提高,团队重新尝试让模型写代码操作网页。

这条变化打开了新的可能,也给产品经理带来一个更实际的问题:什么任务可以放心交给浏览器 Agent?

从「看着页面点」到「写代码操作」

人操作网页时,看到按钮就点击,看到输入框就填。早期的浏览器 Agent 也常沿着这个思路工作:读取页面,决定下一步,执行点击或输入,再观察结果。

困难在于,Agent 看到的页面不一定和人看到的一样。

网页上很多元素有可以读取的结构信息,Agent 可以借此定位按钮。但有些复杂界面使用画布绘制,内部内容未必对应独立的网页元素。这时它可能需要根据截图判断位置,而页面缩放、弹窗或布局变化都可能影响点击。

另一种方式是让模型写代码,在执行环境允许的范围内读取和操作网页。比如整理评论时,模型可以尝试查找评论列表、循环读取内容,而不是每读一条都重新判断一次该点哪里。Tabbit 作者也曾介绍过用脚本批量导出评论的功能。这个例子说明了代码能带来的操作方式变化,并不意味着它能在所有网站上完整获取评论。 来源

两种方式可以互补:代码适合结构清晰、需要批量处理的部分;截图和界面操作能帮助处理需要视觉判断的部分。具体能走哪条路,还要看网站结构、权限和工具能力。

浏览器 Agent 完成任务的四个检查环节:观察、执行、恢复和验收

第一关:它看到的是完整的任务现场吗?

假设 Agent 打开评论页,看到 20 条评论,就开始归类。它的分类可能很认真,但如果另外 80 条需要向下滚动才会加载,结果仍然不完整。

浏览器 Agent 的观察也有盲区:页面可能还没加载完;弹窗遮住了内容;数据在另一个页面或框架里;界面只展示了当前筛选条件下的结果。

Browser Use 团队在技术复盘中提到过一种情况:按钮明明在页面上,却没有出现在提供给模型的页面信息里。团队因此尝试让模型根据任务选择观察方式,例如查询页面结构或查看截图。这是 Browser Use 团队的实践,与 Tabbit 的实现需要分开看。

对使用者来说,问题不是 Agent 有没有返回内容,而是:它有没有说明内容来自哪里,取了多少,还有没有遗漏的可能。

评论任务可以要求它记录来源页面、筛选条件、读取条数和是否还有下一页。如果网站没有提供总数,也应说明无法确认完整性,而不是把已读到的数据直接称为「全部」。

第二关:操作完成,不等于业务完成

点击后,Agent 可能收到页面反馈,也可能遇到无响应或超时。但这个反馈未必能证明最终结果正确。

比如填写表单后,页面出现「提交成功」,能说明这次提交有了反馈;如果任务要求把问题分给指定负责人,还需要检查负责人字段是否正确。如果提交后还要等待后台处理,可能需要重新打开记录,确认状态真的发生了变化。

更麻烦的是重复执行。网络慢的时候,Agent 可能以为提交失败,又点了一次。对于查询,这通常只是多花一点时间;对于创建订单、发消息或修改数据,就可能产生重复后果。

因此,执行和验收应该分成两个动作。让 Agent 说明它准备修改什么、实际做了什么,再用可检查的结果验证。对于可能重复产生影响的动作,先确认当前状态,再决定是否重试。

第三关:出错后,它能从哪里继续?

一次浏览器任务经常要经过多个页面。登录过期、页面改版、网络超时,都可能让流程停下来。

如果 Agent 只会从头重来,前面已经完成的部分就成了隐患:读过的数据可能重复读取,创建过的记录可能再次创建。更好的做法是把任务分成能检查的阶段,留下已经完成的范围和未完成的部分。

还是评论整理这个例子,可以先完成「读取并保存原始评论」,再做「分类」,最后「写入表格」。中途断了,先检查已有结果,再从缺失部分继续。

这不是说每个临时任务都要搭一套复杂系统。一次性的简单查询,通常只需记录来源并核对关键内容;涉及大量数据或写入业务系统的任务,才更需要进度记录、去重和恢复能力。

第四关:做错了,代价有多大?

同一个 Agent,适合做哪些事,并不只取决于它有多聪明,还取决于任务出错后的代价,以及我们能否发现并纠正。

任务 建议交付方式 人需要检查什么
查资料、汇总公开信息 可以先让 Agent 独立整理 来源、覆盖范围、关键结论
整理评论、生成待办、填写草稿 让 Agent 处理,人复核后使用 是否遗漏、分类依据、对象和内容
修改业务数据、发送消息、提交订单 先列出将执行的内容,由人确认后执行 操作对象、影响范围、是否可撤回

这张表不是固定权限规则。即使是查询,遇到敏感数据也要限定访问范围;即使是写入,如果环境隔离、结果可核验且容易撤销,也可以逐步提高自动化程度。

我的判断是:委托程度应该随任务风险和验证能力调整。先从低风险任务积累可靠的执行记录,再决定是否扩大范围。

根据任务风险选择委托方式,并限定敏感数据访问范围

给 Agent 派任务,可以多说这四件事

不用把每一步都写成操作手册,但下面的信息最好交代清楚:

  1. 范围:去哪个系统,处理什么时间段的数据。
  2. 结果:希望得到什么,例如原始明细、问题分类和来源链接。
  3. 边界:哪些操作可以直接做,哪些需要先确认。
  4. 验收:如何判断完成,例如记录数量、抽查链接、说明未覆盖的页面。

例如,可以这样交代:

读取后台上周的用户评论,整理成表格,保留评论原文和来源链接。按问题类型分类;无法确定的单独标记。记录读取数量和筛选条件,说明是否能确认全部加载。先展示结果,不要修改后台或发送消息。

这个指令没有规定 Agent 必须点哪个按钮、使用哪种技术,却把任务的目标和边界交代清楚了。如果它发现无法访问某个页面,也应该把缺口报告出来。

给产品设计者的启发

设计浏览器 Agent 时,演示里最吸引人的往往是「它自己点完了」。真正影响用户是否愿意再次交付任务的,可能是另外几件事:它能否解释处理范围,能否在失败后恢复,能否让人检查结果,以及执行重要操作前是否给人足够的控制。

代码操作、页面结构和视觉识别,都是完成任务的手段。随着模型和工具变化,最合适的组合也会变化。评估时应该回到完整任务:结果是否正确、遗漏多少、花了多少时间、出了问题能否发现和恢复。

浏览器 Agent 已经能替人完成不少网页操作。下一步要解决的,是让用户知道它完成了什么、漏了什么,以及哪些结果可以放心使用。