arXiv cs.AI· Bowen Yang, Kaiming Jin, Zichen Ding, Zhenyu Wu, Zehao Li, Zhoumianze Liu, Kanzhi Cheng, Fangzhi Xu, Yanan Sun, Qiushi Sun, Yu Qiao·· 2 天前AI 评分52
OS-Helix：在原生计算机智能体中统一 GUI 交互与代码执行
OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents
AI 导读
OS-Helix 是一个端到端训练的多模态计算机使用智能体，把 GUI 操作与代码执行统一到同一个动作空间。作者通过应用与文件产物配对构建可执行 Ubuntu 状态，并用解耦的指令与评估器生成流程产出可验证任务，先以 SFT 冷启动、再在真实桌面环境中做在线 RL，并提出按动作步聚合重要性权重的 Step-balanced GSPO。
正文 · AI 翻译
作者：Bowen Yang、Kaiming Jin、Zichen Ding、Zhenyu Wu、Zehao Li、Zhoumianze Liu、Kanzhi Cheng、Fangzhi Xu、Yanan Sun、Qiushi Sun、Yu Qiao
摘要：真正的桌面自动化既不是纯视觉的，也不是纯程序化的。智能体必须理解面向用户的界面，同时高效地操作文件、脚本和系统状态。然而，原生 GUI/代码协同无法通过提示词层面的工具组合获得。在我们的初步实验中，简单地添加一个代码工具会降低 GUI 智能体的性能，这表明 GUI/代码路由必须通过高质量混合数据上的训练内化。我们提出 OS-Helix，一个端到端训练的多模态计算机使用智能体，将 GUI 操作和代码执行统一在一个动作空间中。为了构建所需的监督信号，我们引入了应用-产物组合，将桌面应用与真实文件产物配对以实例化可执行的 Ubuntu 状态，并提出了一种解耦的指令/评估器生成流水线，可生成以环境为基础的任务，其最终状态无论采用何种解决方案模态都可验证。我们通过在筛选后的混合数据上进行 SFT 冷启动策略，并进一步在实时桌面环境中通过在线 RL 改进它。对于 RL，我们提出 Step-balanced GSPO，它按动作步而非原始助手 token 聚合重要性权重，以防止长代码动作主导异构动作优化。在 OSWorld-Verified 上，OS-Helix-27B 和 OS-Helix-35B-A3B 相比其对应的 Qwen3.5 混合基线分别实现了 35.0% 和 33.7% 的相对提升，而 OS-Helix-27B-RL 进一步提升了 42.9%，达到 66.44% 的成功率。消融实验提供的证据与学习到的 GUI/代码协同、可扩展的可验证监督以及动作步平衡优化的贡献一致，同时展示了在 WindowsAgentArena 上的跨平台迁移。我们的项目主页位于 this https URL。
| 评论： | 项目主页：this https URL |
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.22234 [cs.LG] |
| （或 arXiv:2610.22234v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22234 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Bowen Yang [查看邮箱]
[v1]
2026年10月15日星期四 17:14:02 UTC（3,842 KB）
来源：arXiv cs.AI · arxiv.org