arXiv cs.AI· Yuqi Huang, Hui Li, Yifei Cao, Zikun Cai, Tianci Xie, Yangfan Gao, Pinxue Guo, Chaoyun Zhang, Bingxuan Li, Rui Zheng, Hang Yan, Ning Liao·· 6 天前AI 评分41
Work2Skill：从人类 GUI 经验中归纳可复用智能体技能
Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction
AI 导读
Work2Skill 框架通过 WorkRecorder 采集屏幕录制、鼠标键盘事件与无障碍树信息，构建了首个同步多模态人类桌面 GUI 演示数据集 WorkDemo-350（350 条演示），并提出按需检查证据的智能体技能归纳方法，生成包含工作流规则、步骤依赖与完成校验的可复用技能。
正文 · AI 翻译
作者：Yuqi Huang、Hui Li、Yifei Cao、Zikun Cai、Tianci Xie、Yangfan Gao、Pinxue Guo、Chaoyun Zhang、Bingxuan Li、Rui Zheng、Hang Yan、Ning Liao
摘要：计算机使用智能体能够执行日益复杂的 GUI 任务，但需要人类领域知识的陌生软件和工作流程仍然具有挑战性。人类演示通过相同的 GUI 交互空间传递程序性知识，但复用需要在上下文中解读动作，并将工作流规则与任务特定细节分离。因此，我们提出了 Work2Skill，一个捕获人类 GUI 经验以进行可复用智能体技能归纳的框架。WorkRecorder 为该框架提供了收集这些经验的基础设施，对齐屏幕录制、鼠标和键盘事件以及可用的无障碍树信息。使用 WorkRecorder，我们构建了 WorkDemo-350，这是首个用于可复用智能体技能归纳和下游评估的人类桌面 GUI 演示同步多模态数据集。其 350 个演示经过完整性和任务成功筛选。随后，我们提出了一种智能体式技能归纳方法，按需检查证据以生成可复用技能，捕获工作流规则、步骤依赖关系和完成检查。当相同的四个执行模型在共享执行设置下配备由每种方法归纳出的技能时，Work2Skill 取得了最高分数和成功率。相较于相应的无技能基线，在 MyPCBench Bounded Action 上平均分数提升 4.67--10.54 分，在 OSWorld-Verified 的 286 个任务子集上提升 3.11--7.50 分。我们的代码和数据可在 此 https URL 获取。
| 主题： | 人工智能（cs.AI）；人机交互（cs.HC） |
| 引用为： | arXiv:2610.12984 [cs.AI] |
| （或 arXiv:2610.12984v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12984 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuqi Huang [查看电子邮件]
[v1]
2026年10月9日星期五 04:32:02 UTC（3,848 KB）
来源：arXiv cs.AI · arxiv.org