arXiv cs.CL· Alexander Gill, Guram Gogia, Francisco Guzm\'an·· 3 天前AI 评分31
Precog-RM：预测 LLM 智能体轨迹结果的学习表示
Divergent Paths: Learning an Outcome-Predictive Representation of LLM Agent Trajectories
AI 导读
研究者将智能体轨迹重新定义为动作与环境观测共享嵌入空间中的路径，发现同一任务的成功与失败 rollout 在该空间中可分离，简单判别器在三个智能体基准和三个策略模型上预测结果 AUROC 最高达 0.95。
正文 · AI 翻译
摘要：在这项工作中，我们将智能体轨迹重新表述为通过动作与环境观测共享嵌入空间的路径。我们表明，同一任务的成功与失败 rollout 在该空间中相互分离，简单的逐任务判别器可在三个智能体基准和三个策略模型上以高达 0.95 的 AUROC 预测留出 rollout 的结果。为了跨任务利用这一信号，我们提出了 Precog-RM，一个基于 transformer 的模型，它元学习一种表示，使得结果预测可以在少样本设置下进行。我们表明，Precog-RM 可泛化到未见过的任务和模型，并能在终止前很久就对轨迹成功给出置信预测。在 Tau2-Bench 上作为 Group Relative Policy Optimization（GRPO）的早停控制器部署时，Precog-RM 将训练 FLOPs 削减了高达 47.3\%，同时保持与基线 GRPO 相当的性能。
| 评论： | 9 页正文，8 页附录 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19614 [cs.LG] |
| （或 arXiv:2610.19614v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19614 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Alexander Gill [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 05:36:22 UTC（377 KB）
来源：arXiv cs.CL · arxiv.org