arXiv cs.CL· Thomas Zeng, Zelei Cheng, Mingyang Zhou, Sambit Sahu, William Campbell, Genta Indra Winata·· 3 天前AI 评分29
超越修正动作：用文本批评训练 LLM 智能体
Beyond Corrected Actions: Training LLM Agents on Textual Critiques
AI 导读
研究者提出 Critique-Augmented Agentic Fine-Tuning（CAFT），让专家模型对学生的错误动作同时给出修正动作和文本批评，并将批评作为微调目标。
正文 · AI 翻译
摘要：大语言模型（LLM）越来越多地被用于多轮智能体任务，这些任务需要在较长的动作序列中与用户和环境进行交互。改进 LLM 智能体的一种常见方法是使用能力更强的专家模型提供训练监督，要么通过对专家轨迹进行行为克隆，要么使用专家来纠正由较弱学生模型生成的轨迹中的动作。然而，专家 LLM 可以提供比单纯动作更丰富的监督：它们可以直接生成文本批评，解释为什么特定动作是不正确的。我们研究在此类反馈上进行训练是否能使 LLM 智能体受益，并提出 Critique-Augmented Agentic Fine-Tuning（CAFT），这是一个对学生生成的轨迹引出文本专家反馈的框架。对于每个不正确的动作，专家都会给出一个纠正后的动作以及一段解释学生错误的文本批评——我们随后将其用作微调的训练目标。在来自 Nemotron 3 和 Gemma 4 系列的四个学生模型上，在智能体领域 $\tau^2$-Bench Airline+Retail 和 WebShop 中，将批评添加到动作级监督中，相比仅动作蒸馏平均提升了 8% 的性能。此外，与专家轨迹蒸馏相比，CAFT 检查点还可以为强化学习提供更好的热启动。我们的结果表明，文本批评可以加强对多轮 LLM 智能体的监督。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19367 [cs.CL] |
| （或 arXiv:2610.19367v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19367 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Thomas Zeng [查看电子邮件]
[v1]
2026年10月14日星期三 01:12:03 UTC（212 KB）
来源：arXiv cs.CL · arxiv.org