arXiv cs.AI· Shripad V. Deshmukh, Jayakumar Subramanian, Raghavendra Addanki, Nikos Vlassis·· 1 天前AI 评分34
COSAC：顺序协作团队中的反事实信用分配框架
COSAC: Counterfactual Credit Assignment in Sequential Cooperative Teams
AI 导读
COSAC 是一个面向顺序协作团队的无 critic 策略梯度框架，通过对 rollout 批次做单次岭回归拟合团队奖励的加性逐智能体分解，并用当前策略的虚构延续计算反事实优势，无需额外环境或奖励调用。
正文 · AI 翻译
摘要：在智能体按固定顺序行动并共享单一团队级奖励的合作团队中（多智能体语言系统、顺序机器人任务），逐智能体的信用分配是欠定的。基于评论家的方法随着智能体数量增长而扩展性不佳，因为维护联合/分解评论家的成本高昂；而现有的无评论家替代方案存在其他问题：跨智能体的共同信用会将每个智能体的信号与队友噪声耦合，针对上游更新陈旧性的重要性采样校正会带来随团队规模指数增长的方差，或者逐智能体的反事实重放以额外的环境或奖励调用为代价来隔离每个智能体的影响。我们提出 COSAC，一个用于顺序合作团队的无评论家策略梯度框架。COSAC 通过在 rollout 批次上的单次岭回归拟合团队奖励的加性逐智能体分解（使每个智能体获得与队友噪声解耦的学习信号），并从当前策略的虚构延续中计算每个智能体的反事实优势（策略前向传递，替代重要性采样重加权和逐智能体环境重放，且不产生额外环境或奖励成本）。该估计器实例化了顺序贵族效用（SeqAU），这是我们将 Wolpert 和 Tumer（2001）的贵族效用扩展到顺序团队的成果。我们推导了 SeqAU 信用的偏差和条件方差界：直接效应界没有显式的团队规模因子，而间接效应的奖励噪声界随下游智能体数量缩放。顺序老虎机测试在高达 K=16 的团队规模上验证了该分析。在顺序多智能体 LLM 微调中，COSAC 在基于共识的科学推理上相对于最佳无评论家多智能体基线将训练遗憾降低了 17%，在 Python 编码上相对于 MA-GRPO 降低了 61%。
| 评论： | 将发表于 NeurIPS 2026；正文 10 页 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；多智能体系统（cs.MA） |
| 引用为： | arXiv:2604.17693 [cs.LG] |
| （或 arXiv:2604.17693v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.17693 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shripad Deshmukh [查看电子邮件]
[v1]
2026 年 4 月 20 日星期一 01:14:59 UTC（467 KB）
[v2]
2026 年 5 月 9 日星期六 18:49:00 UTC（139 KB）
[v3]
2026 年 11 月 11 日星期三 16:57:51 UTC（1,321 KB）
来源：arXiv cs.AI · arxiv.org