arXiv cs.AI· Wayne Chi, I-Hung Hsu, Li Chen, Wei-Lin Chiang, Ion Stoica, Anastasios Nikolas Angelopoulos, Ameet Talwalkar, Chris Donahue, Cho-Jui Hsieh·· 3 天前AI 评分44
Interaction-as-a-Judge：用计算机使用智能体交互评估交互式应用
Interaction-as-a-Judge
AI 导读
研究提出 Interaction-as-a-Judge 评估范式，让 computer-use agents（CUAs）直接与应用交互，以弥补现有 LLM 评估只看代码分析和单元测试的不足。
正文 · AI 翻译
摘要：编码智能体的任务是生成复杂的交互式应用，例如网站、桌面应用和游戏。虽然人类以交互方式评估这些应用，但当前基于 LLM 的自动化评估主要聚焦于代码分析和单元测试。这种不匹配可能导致 LLM 评判者错过人类用户一眼就能发现的失败。我们研究了 Interaction-as-a-Judge，一种让计算机使用智能体（CUA）直接与应用交互的评估范式。我们证明 Interaction-as-a-Judge 可以同时改进交互式应用的评估与生成。为此，我们收集并发布了两个互补的数据集：$6,858$ 对带有 人类偏好 的应用及相应的智能体轨迹，以及 $222$ 个带有 人工验证需求标签 的应用。相对于标准的非交互式方法，我们发现 Interaction-as-a-Judge 在预测人类偏好（$65.6\% \to 69.1\%$）和需求验证（$77.0\% \to 81.6\%$）方面改进了评估。我们还观察到扩展收益：在偏好对齐和需求验证两方面，更高质量的交互都能提升性能。最后，通过推理时和训练时的实验，我们证明 Interaction-as-a-Judge 还可以提升所生成产物的质量。在推理时，Interaction-as-a-Judge 在五次尝试内修复了 $75.5\%$ 的损坏需求，而仅基于代码的自反馈为 $55.4\%$。在训练时，与仅基于代码的奖励信号相比，使用 Interaction-as-a-Judge 作为奖励信号将相对基础模型的胜率提高了 $6.7$ 个百分点，同时将生成代码长度减少了 $35.7\%$，并将构建失败率降低了 $7.2$ 个百分点。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.17895 [cs.LG] |
| （或 arXiv:2610.17895v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17895 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wayne Chi [查看邮箱]
[v1]
2026年10月13日星期二 07:49:50 UTC（1,034 KB）
[v2]
2026年10月14日星期三 06:37:47 UTC（1,032 KB）
来源：arXiv cs.AI · arxiv.org