arXiv cs.CL· Sergei Polezhaev, Barys Liskavets, Ori Press, Alexander Golubev·· 10 天前AI 评分27
从任务结果训练 LLM 智能体的顾问：Caddie 方法
Training Advisors for LLM Agents from Task Outcomes
AI 导读
研究者提出 Caddie，通过强化学习训练 critic 为 LLM 智能体提供自然语言分析与建议，训练时冻结基座模型，仅以任务最终是否成功作为反馈信号。
正文 · AI 翻译
摘要：大型语言模型智能体通过将推理和工具调用与环境观察交错进行来解决多步任务。先前的工作表明，自然语言反馈可以帮助这些智能体在任务执行过程中修正其决策。我们提出了 Caddie，一种训练评论者（critic）在智能体完成任务过程中提供自然语言分析和建议的方法。与依赖步骤级标签或参考评论的方法不同，Caddie 从智能体在收到评论者反馈后最终是否成功中学习。我们在保持基础模型冻结的同时，通过强化学习优化评论者。在单一基础模型上使用多跳问答进行训练后，我们的 Qwen3-4B 评论者在四个不同规模和架构的基础模型上提高了成功率，其中包括三个未在评论者训练中使用过的模型。在 MuSiQue 基准上，训练后的评论者将 Qwen3-4B 的成功率提高了 25 个百分点以上，超过了没有评论者的 Kimi K3 的性能。同一评论者在域外交互式基准（包括 $\tau^3$ 和 DeepDive）上也带来了提升，且无需额外训练。我们的结果表明，智能体可以在推理时决定何时向评论者寻求帮助，并且基于结果的评论者训练可以产生跨基础模型和任务领域迁移的指导。
| 评论： | 26 页，11 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.09858 [cs.CL] |
| （或 arXiv:2610.09858v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.09858 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sergei Polezhaev [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 11:14:26 UTC（2,328 KB）
来源：arXiv cs.CL · arxiv.org