arXiv cs.AI· Haochen Liu, Qianhao Zhu, Zixuan Wang, Dingming Li, Tongbo Chen, Peng Qiu, Yingqi Qu, Weiming Lu, Jun Xiao, Yongliang Shen·· 1 天前AI 评分39
Actor、Judge 还是 Teacher？理解长程智能体中的决策模型
Actor, Judge, or Teacher? Understanding Decision Models in Long-Horizon Agents
AI 导读
研究比较三个决策模型与三个通用 LLM 在 ALFWorld 上作为 actor 和 judge 的表现，并将 JEV 作为 teacher 用于 ALFWorld 和 WebShop。
正文 · AI 翻译
摘要：决策模型以带类型的输出回答问题，例如在若干选项中做出选择并为每个选项给出概率，因此单个模型既可以选择智能体的动作，也可以评估已经执行的动作，或为每个动作打分以通过强化学习训练策略。此前的工作主要将它们作为执行者来研究，以行动表现的好坏来判断其有用性。我们提出一个问题：一个行动表现不佳的决策模型是否仍能很好地教学？我们在 ALFWorld 上比较了三个决策模型和三个通用 LLM 作为执行者和评判者的表现，并将 JEV 作为教师在 ALFWorld 和 WebShop 上使用。作为执行者，全部六个模型都会被一个更容易的子目标拉离必须先完成的子目标。作为能看到完整轨迹的评判者，同样的模型会认可通往该子目标的各个步骤，并且询问每个动作是否有帮助（而非任务是否会成功）能够区分有用和无用的动作。作为教师，JEV 将基于 GRPO 的 Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 提升到 82.9%，在 WebShop 上从 56.8% 提升到 71.4%。这些结果表明，表现不佳的执行者仍能很好地教学，因为在回合结束后评判一个动作能够揭示行动时必须预见的后果。代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.17167 [cs.AI] |
| （或 arXiv:2611.17167v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.17167 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zixuan Wang [查看邮箱]
[v1]
2026年11月12日 星期四 17:42:46 UTC（5,255 KB）
来源：arXiv cs.AI · arxiv.org