arXiv cs.AI· Keru Chen, Sen Lin, Yingbin Liang, Nathaniel D. Bastian, Shaofeng Zou·· 3 天前AI 评分27
CoSIR：用可验证信息奖励训练 LLM 多智能体协作
Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards
AI 导读
研究者提出 CoSIR（Collaboration via Surprisal-based Information Rewards），一种后训练方法，通过可验证环境中的贝叶斯评估器，按团队 surprisal 的降低幅度为共享信息和请求打分，并奖励智能体在自身决策中使用队友信息。
正文 · AI 翻译
摘要：多智能体系统中，大型语言模型（LLM）智能体之间的有效协作需要共享相关证据、请求缺失信息，并将队友的贡献纳入决策。训练这些行为颇具挑战，因为最终任务结果对单条消息价值的反馈有限。我们提出 CoSIR（Collaboration via Surprisal-based Information Rewards，基于惊异度信息奖励的协作），这是一种后训练方法，利用一个简单、可验证的环境来教授可泛化到更复杂、未见任务的协作行为。我们提出一种贝叶斯评估器，根据团队惊异度的降低来为共享信息打分，惊异度定义为在给定每个智能体可用证据的情况下，分配给正确选项的负对数概率之和。请求的得分则依据若所请求信息被如实提供时同一量的潜在降低来计算。单独的奖励鼓励智能体在各自的私有选择和计算中使用所收到的信息。我们通过自我博弈对 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 进行后训练，并评估其向七个未见自然语言协作任务的迁移。CoSIR 取得了最高的总分，同时在通用任务上的表现仍具竞争力。行为分析显示，私有证据的披露增加，且被判定为未能利用队友输入的失败更少。
| 评论： | 23 页 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.17893 [cs.AI] |
| （或 arXiv:2610.17893v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17893 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Keru Chen [查看邮箱]
[v1]
2026年10月13日星期二 07:46:48 UTC（278 KB）
来源：arXiv cs.AI · arxiv.org