arXiv cs.AI· Ankush Kadu, Athira Gopal, Niharika Singh, Arpit Jain, Aswanth Krishnan·· 13 小时前AI 评分48
EnvOS：审计任务中途环境变化的计算机使用智能体框架
EnvOS: Auditing Computer-Use Agents When the World Moves On : Phenomenon-Based Task Construction, Certification, and Evidence-Based Evaluation
AI 导读
EnvOS 是一个用于构建和认证“任务中途发生变化”环境的框架，在智能体运行前验证变化是否正确触发、任务是否仍可解、评分器能否区分对错，运行后由独立代码依据存档证据复核判定。
正文 · AI 翻译
摘要：基于大语言模型（LLM）构建的计算机使用智能体，其运行的软件环境会在其执行操作期间发生变化：预约时间被调整、政策被修订、记录被更新。在这种变化下测试智能体比看起来更难。当智能体失败时，原因可能是智能体本身，但也可能是某项变更未按预期触发、智能体从未收到某项更新，或者评分器错误地评判了该回合。我们提出 EnvOS，一个用于构建和认证任务中途发生变化的环境的框架。在任何智能体运行之前，EnvOS 会检查每项变更是否正确触发、任务是否仍然可解，以及评分器能否区分正确与错误行为；每次运行之后，由独立代码根据存档证据重新核查判定结果。我们将其应用于过时信息场景，即智能体已经看到过的某个值在其据此行动之前发生了变化。在诊所预约任务中，Claude Opus 5 在未额外展示任何信息时成功完成 0/16 个任务，在提醒其重新核查来源时成功完成 2/16 个任务，在展示更新后的值时成功完成 15/16 个任务；在针对所有测试进行校正后，相对于提醒的增益仍然成立（p = 0.00293）。在保险理赔审批任务中，Opus 5 会自行重新核查，成功完成 10/10 个任务；而 Claude Sonnet 5 在重新展示当前政策时从 1/10 提升到 9/10，这一增益在其预注册测试中显著，但在针对所有测试进行校正后不再显著。因此，智能体是否捕捉到变化会因模型和界面而异。我们还对评分本身进行了压力测试：在依据规则盲设计出的损坏回合上，EnvOS 流水线未将 26 个中的任何一个接受为干净回合；在外部生成的数据集上，它捕获了 39 个中的 25 个，而简单日志检查仅捕获 4 个。由于每个 EnvOS 环境都由种子生成，并由经过审计的自动验证器评分，这些相同的环境自然适合用于基于可验证奖励的强化学习来训练智能体。
| 注释： | 74 页，7 幅图。已被 NeurIPS 2026 Workshops（AABA4ET 和 CL4FMAgents）接收 |
| 主题： | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.40246 [cs.AI] |
| （或 arXiv:2610.40246v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40246 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ankush Kadu [查看邮箱]
[v1]
2026 年 10 月 29 日星期四 15:17:29 UTC（9,929 KB）
来源：arXiv cs.AI · arxiv.org