Arena 研究交互式评估范式并开源数据集

Arena 研究了一种名为 Interaction-as-a-Judge 的评估范式，让 computer-use 智能体直接与游戏和应用交互来改进评估。Arena 称，该范式提升了与用户偏好的一致性、模型检测游戏错误的能力以及下游生成效果，在推理时扩展和纯交互强化学习上均有改善，且效果随 computer-use 能力增强而提升。 Arena 同时开源了两个智能体轨迹数据集 ArenaWebdevPreferences 和 ArenaWebdevCorrectness，用于支持后续研究。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。