arXiv cs.AI· Shangbin Feng, Yulia Tsvetkov, Jan Kautz, David Acuna·· 3 天前AI 评分34
组合式强化学习：评估与训练 LLM 的协作推理能力
Compositional RL: Evaluating and Training LLMs for Collaborative Reasoning
AI 导读
研究提出用 Shapley 值衡量模型在模型池中的"组合强度"，发现个体能力与协作贡献在 15 个（模型池、方法族）设置中有 12 个不相关，独立基准难以代理模型在协作系统中的价值。
正文 · AI 翻译
摘要：语言模型通常被单独评估，但越来越多地被一起部署、在它们之间进行路由、让它们辩论、集成或协同训练。对于系统中的某个模型而言，最重要的不是它单独表现如何，而是它的存在能为系统带来多少增益。我们将此称为模型的组合强度，并用模型池联盟上合作博弈的 Shapley 值将其形式化，同时使用模型对完整联盟的留一贡献作为可处理的代理指标，这需要 n+1 次而非 2^n 次系统评估。在五个模型池、十二种协作方法和十二个数据集上评估个体强度与组合强度，我们发现二者在很大程度上不相关：在 15 个（模型池、方法族）设置中的 12 个里，个体强度并不能转化为组合优势，而且这种耦合在从业者最可能部署的通用模型中最为薄弱。因此，独立基准往往无法很好地代表模型在协作系统中的价值。随后我们提出组合强化学习（C-RL），它在实时多模型系统内部训练策略，并奖励系统整体产生的结果，而非策略在孤立情况下的正确性。Shapley 值中的留一基线在组策略梯度下会相互抵消，因此除了针对协作系统结果进行 RL 之外，这不需要额外的 rollout 成本，也永远不需要在缺少该策略的情况下运行联盟。在三种协作协议和涵盖推理、编码与科学发现的八项任务中，C-RL 在 24 个设置中的 21 个里产生了最强的协作者，将协作性能平均提升 +4.0 至 +5.4 分（约为基线增益的 3 倍），最高提升 +13.1 分。
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| Cite as: | arXiv:2610.17456 [cs.CL] |
| （或 arXiv:2610.17456v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17456 arXiv 颁发的 DOI 通过 DataCite（待注册） |
Submission history
来自：Shangbin Feng [查看电子邮件]
[v1]
2026年10月12日星期一 22:16:45 UTC（228 KB）
来源：arXiv cs.AI · arxiv.org