arXiv cs.AI· Alice Gao, Weixi Tong, Rishab Vempati, Katharina Reinecke, R. Benjamin Shapiro, Tianyi Zhang, Jason Wu·· 1 天前AI 评分31
通过界面变体相对比较训练 Computer Use Agents 评估 GUI 可用性
Training Computer Use Agents to Assess the Usability of Graphical User Interfaces
AI 导读
研究提出一种将可用性操作化的训练目标，通过界面变体间的相对比较微调 Computer Use Agents（CUA）来评估 GUI 可用性，训练数据为大规模完全交互式 UI 与可用性标签及人类数据混合。在真实与合成 GUI 上的实证评估显示，该方法提升了三个现成 CUA 模型的相对可用性评估准确率，最佳模型超越专有基线，并产出有依据的可用性评估。
正文 · AI 翻译
摘要：近期人机交互（HCI）研究利用 AI 智能体来评估图形用户界面（GUI）的可用性，但现有智能体仍力有不逮。用于此类评估的计算机使用智能体（CUA）主要基于具有可验证结果的目标任务轨迹开发，缺乏可操作化的可用性定义和必要的训练数据。本工作提出一种新颖的训练目标，将可用性操作化，通过界面变体之间的相对比较来微调 CUA，使其能够评估 GUI 可用性。我们将该方法应用于 CUA 模型，使用大规模完全交互式 UI 数据集，并配以可用性标签，混合了人类 this http URL 在真实和合成 GUI 上的实证评估。结果表明，我们的方法 i) 在三个现成 CUA 模型上提升了相对可用性评估准确率，ii) 使我们最好的模型超越了专有基线，iii) 产生了有依据的可用性评估。我们的工作为基于智能体的可用性评估奠定了数据驱动的基础，使得探索可扩展可用性评估和界面设计的新形式成为可能。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.26020 [cs.CL] |
| （或 arXiv:2604.26020v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.26020 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alice Gao [查看邮箱]
[v1]
2026年4月28日星期二 18:04:11 UTC（5,812 KB）
[v2]
2026年11月10日星期二 20:28:07 UTC（6,457 KB）
来源：arXiv cs.AI · arxiv.org