arXiv cs.AI· Yizhu Chen, Jianguang Jiang, Jiameng Huang, Chuyu Fang, Bojun Zhang, Zhenyu Jiao, Xing Yuan, Tong Lin·· 13 小时前AI 评分31
RACE：策略与评分细则的自适应协同进化框架
Reward-Adaptive Co-Evolution of Policy and Rubric
AI 导读
RACE 提出一种奖励自适应协同进化框架，让策略与评分细则（rubric）按训练信号动态协同更新。它在组级别将 rollout 组分为信息量充足、多样性坍缩和 rubric 失效三类，仅用信息量充足的组更新策略；在阶段级别以事件触发切换 rubric 优化，并通过比例控制在线调整阈值。在统一评测协议下，RACE 在全部八项任务上平均表现最优，超过最强的固定交替基线，同时提升 rubric 区分度。
正文 · AI 翻译
摘要：基于评分标准的奖励为开放式强化学习提供了细粒度、可解释的监督，而整体式标量奖励难以捕捉多维度的回复质量。静态评分标准会随着策略分布的演化而丧失判别力，而现有的策略—评分标准协同演化方法依赖于全局预设的更新计划，忽略了异构的奖励信息量。我们提出 RACE，一种奖励自适应协同演化框架。在组级别，按 rollout 组进行的训练信号路由将各组分类为信息丰富、多样性坍缩或评分标准失效，仅用信息丰富的组更新策略，同时缓存评分标准失效的情况。在阶段级别，事件触发的阶段切换在奖励持续饱和时进入评分标准优化，并在评分标准—奖励提升趋于平缓时返回。评分标准阶段使用冻结的评判器和尺度归一化的成对边际奖励，在缓存的配对数据上训练生成器。在这两个级别上，在线阈值自适应通过比例控制调整路由阈值和切换阈值。在统一的评估协议下，RACE 取得了最高的平均性能，并在全部八项任务上优于最强的固定交替基线，同时提升了评分标准的判别力。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.40096 [cs.AI] |
| （或 arXiv:2610.40096v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40096 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yizhu Chen [查看邮箱]
[v1]
2026年10月29日星期四 14:00:07 UTC（363 KB）
来源：arXiv cs.AI · arxiv.org