arXiv cs.CL· Zhaoyan Jia, Chengwei Zhou, Gourav Datta, Massoud Pedram·· 3 天前AI 评分26
ForkGRPO：面向扩散语言模型的高效探索与细粒度信用分配
ForkGRPO: Efficient Exploration and Fine-Grained Credit Assignment for Diffusion Language Models
AI 导读
针对扩散语言模型（dLLM）强化学习中的探索不足与信用分配粗糙问题，研究者提出 ForkGRPO 框架，从参考轨迹的高熵中间状态采样多条续写并复用共享前缀，结合组内相对优势与蒙特卡洛状态价值差实现段级信用分配。
正文 · AI 翻译
摘要：扩散大语言模型（dLLM）发展迅速，但通过强化学习（RL）增强其推理能力仍是一项未解决的挑战。任意顺序生成可能遭受熵退化，从而缩小可用于探索的推理路径。近期工作通过将标准 GRPO 应用于从左到右的生成来缓解这一问题。然而，从输入提示独立生成每个 rollout 可能使中间状态的替代延续未被充分探索，而轨迹级优势会给所有 token 分配统一的信用，无法区分各个推理片段的贡献。我们提出 ForkGRPO，一个将高效探索与细粒度片段级信用分配相结合的 RL 框架。它从参考轨迹上的高熵中间状态采样多个延续，优先考虑文本边界并复用共享前缀。这些延续提供了互补的学习信号：状态内组相对优势指导应强化哪些延续，而蒙特卡洛状态价值差则表明哪些推理片段能改善预期结果。在评估的保持架构的 RL 方法中，ForkGRPO 在四个基准中的三个上取得最佳性能，同时相比直接可比的 JustGRPO 提升最多 1.2 个百分点，并减少最多 27.8% 的生成 token。ForkGRPO-Fast 进一步实现 $2.49\times$ 的训练实际耗时加速，且精度损失可忽略。
| 评论： | 20 页，5 张图。前两位作者贡献相同 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19408 [cs.CL] |
| （或 arXiv:2610.19408v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19408 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhaoyan Jia [查看邮箱]
[v1]
2026年10月14日星期三 01:56:46 UTC（760 KB）
来源：arXiv cs.CL · arxiv.org