arXiv cs.CL· Yilong Xu, Minrui Xu, Xinyu Zhou, Xiang Long, Haochen Tan, Zhijiang Guo·· 2 天前AI 评分27
Mosaic：多会话智能体强化学习
Mosaic: Multi-Session Agentic Reinforcement Learning
AI 导读
针对现有智能体强化学习仅假设单会话轨迹、与上下文压缩和子智能体分叉等推理时执行方式不匹配的问题，研究者提出多会话智能体强化学习设置及 Mosaic 方法，采用无 critic 的分层优化，在轨迹层引入会话使用信号、在会话层按估计边际贡献调整优势。在 BrowseComp 上以 Qwen3.5-4B 测试，Mosaic 在上下文压缩和子智能体分叉场景均优于广播式方法，且平均使用会话数更少。
正文 · AI 翻译
摘要：现有的大多数智能体强化学习方法都假设单会话轨迹，即交互在一个持续累积的上下文中进行。然而，上下文压缩和子智能体分叉等智能体技术可能产生跨越多个会话的轨迹，从而造成单会话训练假设与推理时执行之间的不匹配。因此，我们引入多会话智能体强化学习，这是一个更通用的设定，支持一条轨迹中包含任意数量的会话。在此设定下，一种被广泛采用的方法是将轨迹级优势广播到所有会话，但这无法区分各个会话的贡献，也无法指导轨迹内的会话分配。为解决这一问题，我们提出 Mosaic，一种具有无评论家分层优化的多会话智能体强化学习方法。在轨迹层面，它将会话使用信号纳入优势估计。在会话层面，它根据估计的边际贡献来塑造每个会话的优势。在 BrowseComp 上使用 Qwen3.5-4B 进行的实验表明，Mosaic 在上下文压缩和子智能体分叉场景中均优于广播方法，同时平均使用的会话数更少。进一步的分析表明，我们的方法在会话效用和分配方面取得了改进，我们认为这是多会话智能体强化学习未来进展的一个有前景的目标。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22174 [cs.CL] |
| （或 arXiv:2610.22174v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22174 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yilong Xu [查看邮箱]
[v1]
2026年10月15日星期四 16:32:44 UTC（818 KB）
来源：arXiv cs.CL · arxiv.org