arXiv cs.CL· Haoqing Wang, Xiaoyi Zhang, Sicheng Fan, Zhexin Zhang, Xinjie Zhang, Jiahao Li, Bin Li, Yan Lu·· 10 小时前AI 评分55
Hybrid Computer Use：面向通用智能体的程序化、语义与视觉统一接口
Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
AI 导读
论文提出 Hybrid Computer Use（HCU），把代码与命令行工具的程序化交互、accessibility（AX）语义交互和 GUI 视觉交互整合为通用智能体的统一接口，并配套一个 HCU skill 指导模型选择与协调各通道。
正文 · AI 翻译
摘要：计算机使用智能体越来越多地承担从日常桌面操作到长周期专业工作流的各类任务。然而，以截图和鼠标键盘操作为中心的界面可能强加一种人类交互先验，要求反复进行屏幕解读，同时使计算机的语义与程序化能力未能充分展现。我们主张暴露这些能力，并让模型自行选择与组合。我们提出混合计算机使用（HCU），一种面向通用智能体的统一界面，它结合三个互补通道：通过代码和命令行工具进行的程序化交互、通过无障碍（AX）进行的语义交互，以及通过图形用户界面（GUI）进行的视觉交互。我们的 HCU 支持高效的 AX 交互，并在通道切换时防止过期状态操作。一份补充的 HCU 技能指导智能体选择并协调各通道，以有效使用该统一界面。我们设计的 AX 工具返回紧凑的观察结果、批量执行动作，并以 AX 差异报告其效果，因此模型所需的往返次数更少。在 OSWorld 2.0 上，HCU 在所比较的系统中取得最高的 Partial 和 Binary 分数。分析智能体轨迹后，我们发现所有被评估的模型都因 HCU 而提升，但在各通道间分配工作的方式不同，并且在效率和任务成功率两方面都持续优于所比较的基线，这凸显了允许灵活选择与组合通道的统一计算机使用界面的价值。
| 主题： | 人机交互（cs.HC）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41432 [cs.HC] |
| （或 arXiv:2610.41432v1 [cs.HC] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41432 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoqing Wang [查看电子邮件]
[v1]
2026年10月30日星期五 08:38:29 UTC（1,387 KB）
来源：arXiv cs.CL · arxiv.org