arXiv cs.AI· Yaodong Yang, Hongyao Tang, Yi Ma, Xingyu Fan, Weixun Wang, Jinpeng Li, Tianpei Yang·· 3 天前AI 评分41
Jev 评测能力研究：代码负责模拟，Jev 负责评估
Code Owns the Simulation, Jev Owns the Evaluation
AI 导读
判断模型 Jev 在单次调用中直接输出各选项概率，研究发现其能力边界清晰：在认知反射测试中答对 99% 的反直觉题目，但在需要模拟输入之外信息的任务中失败，如在 ALFWorld 中会把未洗的刀直接放进抽屉。若由代码提供预测或模拟（如 ALFWorld 的前瞻、机器人控制中的物理模拟），Jev 可凭借通用评估能力成为专家级控制器。
正文 · AI 翻译
摘要：诸如 \jev{} 之类的判断模型在一次调用中、无需推理文本，即可为每个所描述的选项返回一个概率。这使其作为智能体的动作选择层颇具吸引力，但目前尚不清楚哪些决策可以放心交给它们。我们在反思测试、单次矩阵博弈、文本游戏 ALFWorld 和机器人控制上测试了 \jev{}，并发现了一条清晰的边界。当正确选项可以从输入所描述的内容中判断出来时，\jev{} 能够成功，我们称之为 \emph{评估}。具体而言，它解决了 99\% 的反直觉认知反思测试问题。然而，当正确选项依赖于 \emph{模拟}（即预测输入中不存在的内容）时，它就会失败，例如对手的动作或必须先达成的子目标。在博弈中，\jev{} 的表现次优，仿佛其理性对手在随机行动，因为对手的动作并未给出。在 ALFWorld 中，\jev{} 偏好那些提及任务描述中出现的物体或地点的命令。例如，给定任务“把一把干净的刀放进抽屉”，\jev{} 会把一把未洗的刀直接拿到抽屉，而不是先在洗碗池清洗它。令人惊讶的是，其中许多失败并非由于缺乏知识。当被单独问及对手会做什么时，\jev{} 通常能正确回答，并且在给定对手动作的情况下也能很好地应对。它失败的情形是，一次调用必须同时执行模拟并基于模拟进行评估。这表明应让代码来进行预测或模拟。当代码提供这些时，例如 ALFWorld 中的前瞻和机器人控制中的物理模拟，\jev{} 凭借其通用的评估能力成为专家级控制器。
| 评论： | 正文 10 页，含附录共 21 页；6 幅图，7 张表。预印本 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.01834 [cs.AI] |
| （或使用 arXiv:2610.01834v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.01834 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yaodong Yang 先生 [查看电子邮件]
[v1]
2026 年 10 月 1 日星期四 15:06:40 UTC（411 KB）
[v2]
2026 年 10 月 10 日星期六 08:51:13 UTC（411 KB）
来源：arXiv cs.AI · arxiv.org