arXiv cs.AI· Shiqi Zhang, Guochen Zhou, Zesheng Wei, Hai Zhao, Zhisong Zhang·· 13 小时前AI 评分35
DynaRev：评估动态目标修订下的 Web Agent 基准
DynaRev: Benchmarking Web Agents under Dynamic Goal Revision
AI 导读
DynaRev 是一个包含 181 个任务的基准，用于评估 Web Agent 在任务执行过程中面对用户动态修订目标时的表现。它通过语义里程碑在任务既定阶段下发修订，覆盖增量修订、无条件覆盖和运行时条件覆盖三类，并从正确性、响应性和效率三方面评估。五模型评测显示 Agent 往往只满足部分任务要求，保留浏览器状态并重写指令可带来收益，而重置浏览器则造成损失。
正文 · AI 翻译
摘要：Web 智能体通常在执行前就完整指定目标，且此后固定不变，而真实用户往往会在交互过程中修改需求。为研究此类交互，我们提出 DynaRev，这是一个包含 181 项任务的基准，用于评估动态目标修订下的 Web 智能体。DynaRev 使用语义里程碑在任务定义的阶段交付修订，涵盖增量修订、无条件覆盖和运行时条件覆盖，并通过基于轨迹的评估来衡量正确性、响应性和效率。对五个模型的评估表明，智能体往往只满足部分任务要求，其表现因任务来源、修订类型和模型而异。进一步分析揭示了里程碑时机的差异、动态交付的混合效应以及对比鲜明的修订处理结果：在保留浏览器状态的情况下重写指令会带来收益，而重置浏览器则会造成损失。DynaRev 为研究 Web 智能体如何适应用户目标演变提供了测试平台。代码和数据可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.40133 [cs.AI] |
| （或 arXiv:2610.40133v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40133 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shiqi Zhang [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 14:25:54 UTC（972 KB）
来源：arXiv cs.AI · arxiv.org