arXiv cs.AI· Zhuohan Cai, Zhangxuan Gu, Runze Li, Beitong Zhou, Ming Wen, Hongbo Yu, Shuheng Shen, Changhua Meng·· 4 小时前AI 评分32
PACT:通过保留正确计划与修复动作实现 GUI 智能体的计划-动作一致性训练
PACT: Plan-Action Consistency Training by Preserving Correct Plans and Repairing Actions in GUI Agents
AI 导读
PACT 是一种面向 GUI 智能体的训练框架,通过保护已验证的正确计划、修复执行动作来解决计划与动作不一致问题。在 AndroidWorld 上,PACT 将任务成功率从 60.34% 提升至 68.97%(+8.63 pp),AndroidControl High 上的规则化计划-动作一致性从 83.71% 升至 89.74%(+6.03 pp)。
正文 · AI 翻译
摘要:GUI 智能体在推理中能够制定正确的即时计划,却输出无法执行该计划的动作,从而形成执行缺口。这种反复出现的错配会削弱任务可靠完成的能力,因为一次执行错误就可能使多步工作流偏离正轨。在结果监督强化学习中,将负面的响应级优势广播到所有生成的 token 上,可能会在惩罚错误执行的同时也惩罚了有效的规划。为解决这一信用分配冲突,我们提出 PACT(Plan-Action Consistency Training,计划-动作一致性训练),这是一个在不改变原始标量动作奖励的前提下,结合参考对齐计划保护与计划对齐动作修复的训练框架。PACT 利用标注的参考动作识别执行缺口,通过在其 token 跨度上屏蔽负的策略梯度贡献来保护已验证的计划。在保持生成的推理不变作为上下文的情况下,它随后通过带有停止梯度配对权重的偏好替代目标,使参考动作优于所输出的错误动作。与仅结果基线相比,PACT 将 AndroidWorld 任务成功率从 60.34% 提升至 68.97%(+8.63 个百分点),同时将 AndroidControl High 上基于规则的计划-动作一致性从 83.71% 提升至 89.74%(+6.03 个百分点)。将 PACT 适配到桌面智能体后,在完整的 369 项任务 OSWorld 基准上也将任务成功率从 40.92% 提升至 44.17%(+3.25 个百分点)。这些结果共同表明,PACT 是一个有效的信用分配框架,能够弥合执行缺口,并提升移动端和桌面端 GUI 环境中的任务完成率。
| 评论: | 21 页,11 幅图,包括补充材料 |
| 主题: | 人工智能(cs.AI);计算机视觉与模式识别(cs.CV);机器学习(cs.LG) |
| 引用为: | arXiv:2611.22591 [cs.AI] |
| (或 arXiv:2611.22591v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22591 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Zhuohan Cai [查看邮箱]
[v1]
2026 年 11 月 17 日星期二 11:14:59 UTC(6,188 KB)
来源:arXiv cs.AI · arxiv.org