arXiv cs.AI· Yu Zhao, Fan Jiang, Tianle Liu, Bo Zeng, Xintong Wang, Jiaxuan Teng, Yu Liu, Yichao Du·· 12 小时前AI 评分32
Difficulty-Estimated Policy Optimization（DEPO）：用难度估计优化推理对齐训练
Difficulty-Estimated Policy Optimization
AI 导读
研究者提出 Difficulty-Estimated Policy Optimization（DEPO），在 rollout 前用在线 Difficulty Estimator 动态评估并过滤训练数据，把算力优先分配给高学习潜力样本。
正文 · AI 翻译
摘要：以 DeepSeek-R1 为代表的大型推理模型（LRMs）的最新进展，凸显了通过组相对策略优化（GRPO）扩展推理时计算量的潜力。然而，当遇到过于简单或过于复杂的问题时，GRPO 常常遭受梯度信号衰减的困扰。在这些情形下，组间优势的消失使梯度信号易受噪声影响，从而危及收敛稳定性。尽管 DAPO 等变体试图纠正梯度消失问题，但它们并未缓解在低效用样本上进行穷举式 rollout 所带来的巨大计算开销。本文提出难度估计策略优化（DEPO），这是一个旨在优化推理对齐效率与鲁棒性的新框架。DEPO 集成了一个在线难度估计器，在 rollout 阶段之前动态评估并过滤训练数据。该机制确保计算资源优先分配给具有高学习潜力的样本。实证结果表明，在配置剖析的设置下，DEPO 的 rollout 速度比 DAPO 快约 1.86 倍，同时在相当训练成本下相比 GRPO 提升了基准性能。我们的方法显著降低了训练高性能推理模型的计算门槛，为推理扩展提供了一条更可持续的路径。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2602.06375 [cs.AI] |
| （或 arXiv:2602.06375v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.06375 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhao Yu [查看邮箱]
[v1]
2026年2月6日星期五 04:12:23 UTC（780 KB）
[v2]
2026年10月27日星期二 12:35:37 UTC（757 KB）
来源：arXiv cs.AI · arxiv.org