arXiv cs.AI· Rui Jin, Jikai Chen, Chengyue Yu, Yihan Chen, Hao Zhou, Demin Zhu, Kaichen Yang, Dong Wang, Linjian Mo, Chenyi Zhuang·· 2 天前AI 评分34
为开放式强化学习设计反馈而非仅奖励：训练环境框架
Design the Feedback, Not Just the Reward: Environments for Open-Ended Reinforcement Learning
AI 导读
研究者提出一种面向开放式任务的强化学习框架，将编码在评分标准中的人类领域知识与模型推理结合，用分层奖励区分复杂输出，并把诊断出的失败归因映射为 GRPO 目标中的 token 级权重。
正文 · AI 翻译
摘要：强化学习已在具有可靠验证器的任务上推动了大语言模型的进步，在这类任务中，检查结果可为奖励提供明确依据。要将这一方法扩展到开放式任务，需要既能评估复杂的、部分成功的输出，又能将这些判断转化为有效学习指导的环境。我们提出一个强化学习框架，其核心是一个将人类领域知识与模型推理相结合的训练环境。以评分标准形式编码的人类领域知识将评估锚定于任务意图，而模型推理与分层奖励相结合，可区分复杂的开放式输出，并将诊断出的失败关联到可能负责的输出区域。此外，这些诊断归因指导 GRPO 目标中的 token 级权重，从而将开放式任务中模糊的成功概念转化为策略优化的具体指导。我们在交互式 Web 应用生成这一具有代表性的开放式生成任务中实例化了该框架。所得模型在 MiniAppBench 上平均通过率为 41.25\%，在 ArtifactsBench 上为 76.19\%。消融研究显示了各组件的贡献，而额外的分布外评估支持可迁移的收益，且不会降低其他被评估任务上的性能。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.27906 [cs.AI] |
| （或 arXiv:2608.27906v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.27906 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Jikai Chen [查看邮箱]
[v1]
2026年8月28日星期五 04:17:05 UTC（5,401 KB）
[v2]
2026年8月31日星期一 09:54:20 UTC（5,401 KB）
[v3]
2026年10月15日星期四 06:11:14 UTC（18,254 KB）
来源：arXiv cs.AI · arxiv.org