arXiv cs.CL· Sitao Cheng, Tianle Li, Xuhan Huang, Xunjian Yin, Difan Zou·· 3 天前AI 评分29
DERL：双演化强化学习实现自动化奖励设计
Dual-Evolving Reinforcement Learning for Automated Reward Design
AI 导读
研究提出双演化强化学习框架 DERL，通过外层提议器与内层策略的双重训练实现奖励结构的自主发现，提议器利用内层策略的验证表现进行策略梯度学习。在 ALFWorld、ScienceWorld、GSM8K 和 MATH 等推理任务上，DERL 优于强基线，在分布外任务上提升显著，并在数学任务中改进了结果奖励。代码与模型已开源。
正文 · AI 翻译
摘要：为复杂推理的强化学习（RL）设计有效的奖励信号仍是一项核心挑战。现有的自动奖励优化方法在搜索时使用固定的提议器，而该提议器从不从其代价高昂的试验中学习。我们提出双演化强化学习（DERL），一种用于自主发现奖励结构的双重训练框架。外层循环提议器从任务原语中组合出奖励，内层策略使用该奖励进行训练。提议器本身通过内层策略的验证性能以策略梯度方式学习。因此，DERL 利用过往试验的反馈来塑造其奖励提议分布，即任务成功的经验元梯度。我们在具身（ALFWorld）、科学（ScienceWorld）和数学（GSM8K、MATH）推理任务上验证了 DERL。在多轮智能体基准上，DERL 优于强基线，在分布外任务上尤为显著。在数学任务中，DERL 改进了结果奖励，而直接添加原语反而有害。在匹配计算量下的进一步分析表明，我们的提议器有效捕捉了元梯度以发现有用的奖励信号。
| 评论： | 进行中。我们在此 https URL发布我们的代码和模型 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2512.13399 [cs.AI] |
| （或 arXiv:2512.13399v3 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2512.13399 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Sitao Cheng [查看邮箱]
[v1]
2025年12月15日星期一 14:50:08 UTC（583 KB）
[v2]
2026年5月13日星期三 04:43:51 UTC（646 KB）
[v3]
2026年10月13日星期二 21:12:48 UTC（1,275 KB）
来源：arXiv cs.CL · arxiv.org