arXiv cs.AI· Ashish Bansal, Hossam Amer, Keerat Kaur Guliani, Parinita Edke, Lesley Matheson, Leizer Teran·· 11 小时前AI 评分31
专家引导的评分标准作为非可验证领域强化学习的密集奖励信号
Expert-Guided Rubrics as Dense Reward Signals for Reinforcement Learning in Non-Verifiable Domains
AI 导读
研究提出将少量固定的专家判断转化为密集奖励，并与检索指标结合，构建兼容 GRPO 的混合训练信号，用于金融服务等非可验证领域的 LLM 智能体训练。实验显示，相比稀疏奖励基线，Recall@3 提升最高 6%，MRR@3 提升 6.7%。该方法针对稀疏奖励下组内采样结果一致导致 GRPO 优化停滞的问题。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地被部署为金融服务等不可验证领域中的自主智能体，在这些领域中，它们必须理解用户意图、重写查询，并在特定领域的约束下检索信息。尽管强化学习（RL）可以根据智能体行动的结果来训练此类智能体，但近期的成功在很大程度上依赖于具有自动计算的二元奖励的可验证任务。在不可验证的检索任务中，评估查询质量需要稀缺的领域专家（SME）判断，而这种判断本质上是分级的，而非二元的。在组相对策略优化（GRPO）中，当组内所有采样输出都得到相同结果时，稀疏奖励无法提供有用的学习信号，导致优化停滞。我们提出了一种方法，将少量、固定的领域专家判断投入转化为稠密奖励，并将其与基于检索的指标相结合，形成一种与 GRPO 兼容的混合训练信号。实验表明，与稀疏奖励基线相比，Recall@3 最高提升 6\%，MRR@3 最高提升 6.7\%。
| 评论： | 11 页，4 幅图，RL4LLM-Agents workshop ICAIF ACM |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.26932 [cs.LG] |
| （或 arXiv:2610.26932v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26932 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ashish Bansal [查看电子邮件]
[v1]
2026 年 10 月 17 日星期六 19:01:11 UTC（625 KB）
来源：arXiv cs.AI · arxiv.org