arXiv cs.AI· Guangcheng Zhu, Yingfan Ma, Xing Zheng, Haobo Wang, Shenzhi Yang, Kai Tang, Zhengqing Zang, Bowen Song, Weiqiang Wang, Gang Chen·· 3 天前AI 评分24
CoCA：面向评分标准强化学习的标准感知信用分配
CoCA: Criterion-Aware Credit Assignment for Rubric-Based Reinforcement Learning
AI 导读
针对评分标准强化学习将标准级反馈压缩为标量奖励、token 优势分配均一的问题，研究者提出 CoCA，把评分标准信息作为信用分配的相关性线索，从组内相对结果推导标准级信用，并依据标准引起的分布偏移将其分配到各 token。在医学与科学基准上，CoCA 相比标准评分标准强化学习平均提升 +4.2%。
正文 · AI 翻译
摘要：基于评分标准的强化学习（RL）根据明确的标准评估回答以构建奖励，为在开放式任务上训练大型语言模型提供了一条可行途径。然而，标准方法将标准级反馈压缩为标量奖励，并分配统一的 token 优势，使结构化的评分标准监督未被充分利用。近期工作试图通过将评分标准视为特权信息来推导自蒸馏目标，从而获得更细粒度的指导，但由此产生的学习信号并非基于标准结果，可能导致奖励退化。这促使我们将问题重新表述为标准感知的信用分配，其中特权评分标准信息作为信用分配的相关性线索，而非模仿目标的来源。据此，我们提出 CoCA，它从组相对结果中推导标准级信用，并基于标准诱导的分布偏移将其分配到各 token 上，从而产生既基于结果又细粒度的学习信号。实证上，CoCA 在医学和科学基准上相较标准基于评分标准的 RL 平均提升 +4.2%，表明其在开放式任务上学习更有效。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17733 [cs.LG] |
| （或 arXiv:2610.17733v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17733 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Guangcheng Zhu [查看邮箱]
[v1]
2026年10月13日星期二 05:13:04 UTC（1,957 KB）
来源：arXiv cs.AI · arxiv.org