Arena 研究 Interaction-as-a-Judge 评估范式
Arena 研究了 Interaction-as-a-Judge 评估范式，让 computer-use 智能体直接与游戏和应用交互来改进评估。该范式提升了与用户偏好的一致性、模型检测游戏错误的能力以及下游生成效果，并在推理时扩展和纯交互强化学习上均有改善，且效果随 computer-use 能力增强而提升。
Arena.ai· @arena · X·2026-11-13 05:31· 58 分钟前AI 评分42
AI 导读
Arena 研究了 Interaction-as-a-Judge 评估范式，让 computer-use 智能体直接与游戏和应用交互来改进评估。该范式提升了与用户偏好的一致性、模型检测游戏错误的能力以及下游生成效果，并在推理时扩展和纯交互强化学习上均有改善，且效果随 computer-use 能力增强而提升。
正文 · 原文
智能体在复现游戏和应用方面展现出越来越强的能力。一个可能的原因是它们直接与这些应用交互的能力不断增强。
我们研究了 Interaction-as-a-Judge，这是一种日益兴起的评估范式，其中 computer-use 智能体直接与游戏和应用交互以改进评估。
Interaction-as-a-Judge 改进了：
- 与用户偏好的一致性。
- 模型检测游戏中错误的能力。
- 下游生成。我们在推理时扩展以及纯交互强化学习能力方面都看到了改进。
它还会随 computer-use 能力而扩展；computer-use 模型和方法越好，判断就越好。
我们还开源了两个智能体轨迹数据集，ArenaWebdevPreferences 和 ArenaWebdevCorrectness，以帮助支持未来的研究。深入阅读该推文串以了解更多。
在 X 查看被引用的帖子Arena 研究实习生、卡内基梅隆大学博士生 Wayne Chi 解释了 Interaction-as-a-Judge：让 computer-use 智能体玩游戏并使用应用，以更好地改进评估和下游生成。
一个 computer-use 智能体在应用中导航，产生交互轨迹，供 LLM 评判器或训练好的奖励模型进行评估。该演讲涵盖了使用真实 Code Arena 对战进行的偏好评估，以及使用从 Agent Arena 中真实用户投诉挖掘出的需求进行的正确性评估。
观看完整演讲：
youtube.com/live/lu--lrbznOk
来源：Arena.ai · x.com
来源：RadarAI · aihot.news