arXiv cs.MA· Leyang Shen, Yaxin Gong, Yang Zhang, Chenxiao Fan, Jiakai Wang, Dong Wang, Yang Liu, Fuli Feng, Chun Kai Ling, Tat-Seng Chua·· 2 天前AI 评分29
训练 LLM 智能体与多智能体系统的纠偏能力
Learning to Steer LLM Agents and Multi-Agent Systems
AI 导读
针对 LLM 智能体与多智能体系统执行中偏离总体目标的"目标漂移"问题，研究者提出一个在旁监督执行的 steering agent，通过低成本快路径判断何时干预、高成本慢路径决定如何干预。两条路径用强化学习联合训练，结合成对排序目标与 GRPO。在信息检索类搜索任务上，该方法对单智能体和多智能体系统均提升了性能与效率，且能泛化到域外任务、迁移到未见过的执行器，并支持无需重训的可控干预频率。
正文 · AI 翻译
摘要：基于大语言模型（LLM）的智能体与多智能体系统越来越多地通过长时程工具使用和智能体间协作来处理复杂任务。然而，这些系统在执行过程中容易偏离总体目标，浪费执行资源并导致不理想的结果，这种失败被称为目标漂移。在这项工作中，我们提出了一种引导智能体，它实时监督执行过程，并在发生漂移时将系统引导回正轨。引导智能体观察执行上下文，决定何时以低成本快速路径进行干预，以及如何以高成本慢速路径进行干预。为释放其引导智能，即评估目标漂移和生成有效干预的能力，我们使用强化学习联合训练这两条路径，将成对排序目标与组相对策略优化（GRPO）相结合。在信息检索搜索任务上的实验表明，引导智能体为单智能体和多智能体系统均提供了有效监督，提升了它们的性能和效率。所习得的引导智能可泛化到域外任务，迁移到未见过的执行器，并支持可控的干预频率而无需重新训练。
| 评论： | 21 页，6 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2610.22316 [cs.LG] |
| （或 arXiv:2610.22316v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22316 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Leyang Shen [查看邮箱]
[v1]
2026年10月15日星期四 17:51:17 UTC（240 KB）
来源：arXiv cs.MA · arxiv.org