arXiv cs.AI· Jiale Huang, Zixu Li, Zhiwei Chen, Zhiheng Fu, Jinhe Bi, Yupeng Hu·· 12 小时前AI 评分31
SetGRPO：校准评分器引发的策略优化
SetGRPO: Calibrating Grader-Induced Policy Optimization
AI 导读
针对评分器随机性会改变 GRPO 组内奖励归一化系数、进而引发策略相关更新偏移的问题，研究者提出 SetGRPO，包含联合奖励集校准、几何引导安全恢复与选择性风险门控优化三个模块。在 Qwen3.5 和 Llama3.2 两个模型族、覆盖三个领域的十个开放式基准上，SetGRPO 的宏平均得分在所有对比训练方法中最高。
正文 · AI 翻译
摘要：基于评分标准的强化学习利用细粒度的评分器反馈，在开放式任务上训练大语言模型，但评分器的随机性会以仅凭分数差异无法刻画的方式改变 GRPO 更新。由于 GRPO 在每个响应组内对奖励进行联合归一化，并将得到的训练系数与响应级梯度相结合，因此一个评分差异就可能改变整个组的系数，并引发依赖策略的更新变化。选择性执行还会进一步影响被保留更新的方向反转风险。为此，我们提出集合值组相对策略优化（SetGRPO）。它包含三个模块：(a) 联合奖励集校准为训练系数构建联合不确定性集；(b) 几何引导的安全恢复将候选系数映射到当前策略的局部更新几何中，并为每个响应组确定最大的安全恢复比例；(c) 选择性风险门控优化通过独立的风险校准选择一个全局阈值，以控制被接受更新的条件方向反转风险，同时保留原始 GRPO 目标。在可交换性假设下，SetGRPO 为联合系数集提供有限样本边际覆盖，并在候选阈值上实现同时风险控制。在跨越三个领域的十个开放式基准上，SetGRPO 在 Qwen3.5 和 Llama3.2 两个模型系列上均取得了所有对比训练方法中最高的宏平均。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36807 [cs.LG] |
| （或 arXiv:2610.36807v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36807 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiale Huang [查看电子邮件]
[v1]
2026年10月27日星期二 08:11:30 UTC（7,288 KB）
来源：arXiv cs.AI · arxiv.org