arXiv cs.AI· Chulhoon Yoon, Kyungri Park, Jinyeong Yun, Daeyun Jeong, Sukmin Yun, Woohwan Jung·· 11 小时前AI 评分42
MAGE：用用户手册让计算机使用智能体适配新软件
Adaptation of Computer Use Agents to New Software with User Manuals
AI 导读
研究者提出 MAGE（Manual-augmented computer use AGent Execution and learning）框架，利用用户手册作为可扩展的流程知识来源，同时改进计算机使用智能体的推理与训练。
正文 · AI 翻译
摘要：多模态基础模型的最新进展显著提升了通过图形用户界面（GUI）利用视觉观察和自然语言指令操作真实世界软件的能力。然而，在未见过的应用上保持强劲性能仍然具有挑战性，因为实际任务往往需要长时程的程序性知识和特定于应用的操作模式。此外，构建可执行任务并收集相应轨迹用于训练仍严重依赖人工标注数据，成本高昂。本文提出 MAGE（Manual-augmented computer use AGent Execution and learning），一个利用用户手册作为可扩展程序性知识来源以同时改进推理和训练的框架。在执行过程中，MAGE 检索与任务相关的手册内容，并使用规划器为 CUA 生成明确的程序性指导。为进一步应对手册与实际 GUI 环境之间的差异（如版本差异或用户设置），MAGE 还通过环境交互自适应调整智能体策略。在训练过程中，MAGE 将手册转换为可执行的任务-计划对，并利用计划引导环境推演朝向任务相关状态；由此产生的轨迹随后用于优化策略，无需人工编写的演示。这种统一设计使手册能够有效用于任务执行和训练，减少对人工编写训练数据的依赖。在六个应用上的实验结果表明，任务成功率相较强基线有所提升，凸显了手册引导的规划与策略自适应在新软件环境中的有效性。我们在此 https URL提供代码和复现脚本。
| 评论： | 21 页，3 幅图，14 张表。代码：此 https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.23012 [cs.AI] |
| （或 arXiv:2610.23012v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.23012 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chulhoon Yoon [查看电子邮件]
[v1]
2026 年 10 月 16 日星期五 06:44:56 UTC（1,412 KB）
来源：arXiv cs.AI · arxiv.org