arXiv cs.AI· Ziyang Chen, Qian Li, Chengwei Qin·· 12 小时前AI 评分34
TAM:以任务推进状态与监督提升 GUI 智能体能力
From Interaction to Capability: Task Advancement as State and Supervision for GUI Agents
AI 导读
研究提出 Task Advancement Memory(TAM),将任务推进定义为经核验的任务进度,在执行中维护 Advancement State 并抽象出可复用操作。
正文 · AI 翻译
摘要:GUI 记忆应保留过去操作的结果并学习可复用的操作。这在长时程工作流中很困难,因为智能体必须跨应用使用信息,且有用的操作与失败的尝试交织在一起。我们提出任务推进记忆(Task Advancement Memory,TAM),它将任务推进定义为经过验证的任务进展,支持持续的任务执行并学习可复用的操作。在执行过程中,任务推进状态表示经过验证的任务进展如何改变剩余目标,使智能体能够跨应用在先前成果的基础上继续推进。在每个任务之后,推进监督会识别并抽象出产生经过验证的局部结果的交互。学习到的操作保留了所需输入、预期结果与验证条件之间的关系。这既保留了成功任务中局部成功的操作,也保留了失败任务中局部成功的操作。在 MobileWorld 的纯 GUI 任务上,仅推进状态就将成功率从 12.0% 提升到 28.2%。完整的 TAM 相比最强的评估基线,任务成功率获得 17.6% 的相对提升,并将每个已解决任务的生命周期 token 数减少 38.7%。在 SPA-Bench 上,TAM 在单应用英文 Level 3 设置中取得了最先进的任务成功率。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.37482 [cs.AI] |
| (或 arXiv:2610.37482v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.37482 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Ziyang Chen [查看邮箱]
[v1]
2026年10月27日星期二 16:09:25 UTC(2,675 KB)
来源:arXiv cs.AI · arxiv.org