arXiv cs.AI· Yue Yu, Bowen Zuo, David Crandall, Yinglun Zhu, Dongruo Zhou·· 6 天前AI 评分22
探索更多、推理更好：面向扩散语言模型的分步风险敏感 GRPO
Exploring More, Reasoning Better: Stepwise Risk-Sensitive GRPO for Diffusion Language Models
AI 导读
研究者提出 StepRS-GRPO，在去噪状态间调整组优势变换的风险系数，同时保留原有训练器。在二值奖励下，该变换等价于对中心化结果优势做提示词与状态相关的重缩放。在多个 dLLM 骨干和数学推理基准上，它相比中心化 GRPO 提升了 pass@1 准确率与 pass@k 覆盖率，并增加了答案多样性。
正文 · AI 翻译
摘要：扩散大语言模型（dLLMs）通过对一个序列或连续块进行去噪来生成文本，从而允许并行地揭示多个 token。带可验证奖励的强化学习（RLVR）在这些决策之间复用终端反馈，即使它们的条件上下文发生变化。我们提出了逐步风险敏感 GRPO（StepRS-GRPO），它在不同去噪状态之间改变组优势变换的风险系数，同时保留底层训练器。对于二元奖励，我们证明该变换恰好是对中心化结果优势的、依赖于提示和状态的重新缩放。基于能力的校准给出了系数尺度，而端点与插值消融实验则指导了调度方案的选择。在多个 dLLM 骨干网络和数学推理基准上，StepRS-GRPO 相比中心化 GRPO 同时提升了 pass@1 准确率和 pass@k 覆盖率，同时增加了答案多样性。在我们的消融研究中，质量匹配的对照组支持了状态分配和调度方向的贡献，并且在将优势的均方根（RMS）匹配到中心化 GRPO 的均方根之后，这些增益依然存在。推理轨迹诊断进一步表明，StepRS-GRPO 带来的多样性增益超出了最终答案字符串的范围。
| 评论： | 40 页，12 幅图，2 张表。前两位作者贡献相同 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.00661 [cs.LG] |
| （或使用 arXiv:2610.00661v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.00661 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Yue Yu [查看邮箱]
[v1]
2026年9月30日星期三 19:59:48 UTC（665 KB）
[v2]
2026年10月9日星期五 07:30:38 UTC（665 KB）
来源：arXiv cs.AI · arxiv.org