arXiv cs.AI· Zixu Wang, Yu Zhao, Xing Zheng, Bingbing Xu, Tian Xueyun, JiaTang Luo, Weiqiang Wang, Bowen Song, Huawei Shen, Xueqi Cheng·· 1 天前AI 评分31
OPSD4MAS：用On Policy Self Distillation将多智能体通信转为Token级信用
Turning Multi-Agent Communication into Token-Level Credit with On Policy Self Distillation
AI 导读
OPSD4MAS 通过 On Policy Self Distillation（OPSD）把多智能体系统中的未来通信转化为细粒度 token 级信用，先由外部模型抽取事实并评估轨迹关系做粗筛，再用 leave-one-out 过滤目标 token 影响。
正文 · AI 翻译
摘要：强化学习提升了大型语言模型多智能体系统中的问题求解能力。现有方法忽视通信知识，或将其压缩为标量奖励，导致信用分配粗糙，难以指导每个智能体应强化或修正哪些决策。OPSD4MAS 通过同策略自蒸馏（On Policy Self Distillation，OPSD）将未来的通信转化为细粒度的 token 级信用。外部模型提取事实并评估其轨迹关系以进行粗粒度过滤，随后针对智能体层面的结果优势，对目标 token 的影响进行细粒度的留一法过滤。以事实为条件的策略提供 token 级信用，并通过线性退火的联合目标与 GRPO 结合。我们的方法在数学任务上将 pass@4 较 GRPO 提升最多 20.00 个百分点。消融实验支持完整过滤，而冻结历史注入诊断支持事实效用。综上，这些结果支持将智能体层面的结果引导与源自通信的 token 级信用相结合。代码见 此 https URL。
| 注释： | 14 页，4 幅图 |
| 主题： | 人工智能（cs.AI） |
| ACM 分类： | I.2.6; I.2.11; I.2.7 |
| 引用为： | arXiv:2611.16206 [cs.AI] |
| （或 arXiv:2611.16206v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16206 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zixu Wang [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 02:57:08 UTC（693 KB）
来源：arXiv cs.AI · arxiv.org