arXiv cs.AI· Youting Wang, Yuan Tang, Bowen Liu, Xuan Liu, Dingyan Shang·· 3 天前AI 评分22
当 LLM 奖励设计失败：面向稀疏结构化 RL 的诊断驱动式改进
When LLM Reward Design Fails: Diagnostic-Driven Refinement for Sparse Structured RL
AI 导读
针对稀疏结构化强化学习任务，研究提出诊断驱动的迭代改进方法，用训练诊断和失败模式分类指导奖励函数修订，将 DoorKey-8x8 成功率从无塑形的 2.3% 提升至 97.6%，KeyCorridor 从一次生成的 31.2% 提升至 86.7%。
正文 · AI 翻译
摘要：对于具有语义奖励函数接口的稀疏、结构化强化学习任务，LLM 生成的奖励塑形更适合被框定为调试而非一次性生成。我们研究使用 PPO 训练的智能体，以 MiniGrid 作为核心评估，以 MuJoCo 的到达/运动任务作为边界压力测试。我们的定性审查发现两种反复出现的一次性失败模式——奖励泛滥和语义/API 误解——以及一种更罕见、更难可靠区分的弱塑形情况。我们提出诊断驱动的迭代细化，利用训练诊断和失败模式分类法来指导奖励函数的修订。在具有可诊断奖励失败的稀疏结构化任务上，细化将 DoorKey-8x8 的成功率从无塑形时的 2.3% 提升至 97.6%，并将 KeyCorridor 从一次性生成的 31.2% 提升至 86.7%，但种子间方差较大。对照实验表明，这些增益并非仅来自通用重试或额外训练：仅基于指标的重新提示会导致大幅下降，而静态词汇对照则恢复了大部分差距。因此，分类法提示是主要机制，而动态标签的增量证据仅得到部分隔离。在 Haiku 4.5、Opus 5 和 DeepSeek V4 Pro 的提示匹配比较中，效果取决于任务和模型；六组对比均未通过族系误差校正。一个四次调用、回合预算匹配的群体对照也具有竞争力。组件移除和敏感性测试揭示了校准的局限性。在连续控制中，基于成功的诊断在密集奖励的运动任务中可能误触发；回报趋势反馈消除了一种假阳性机制，但未带来稳健的运动增益。该方法局限于在 PPO 训练下具有可靠结构化接口的稀疏结构化任务。
| 评论： | 发表于 Transactions on Machine Learning Research (TMLR)，2026 年。32 页。最终发表版本：此 https URL |
| 主题： | 机器学习 (cs.LG)；人工智能 (cs.AI)；信息检索 (cs.IR) |
| 引用为： | arXiv:2605.28918 [cs.LG] |
| （或 arXiv:2605.28918v2 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.28918 arXiv 颁发的 DOI 通过 DataCite |
|
| 期刊 参考： | Transactions on Machine Learning Research，2026 |
提交历史
来自：Youting Wang [查看电子邮件]
[v1]
2026 年 5 月 27 日星期三 17:57:43 UTC（2,840 KB）
[v2]
2026 年 10 月 10 日星期六 05:41:37 UTC（2,802 KB）
来源：arXiv cs.AI · arxiv.org