arXiv cs.CL· Xin Guan, Xiaomeng Hu, Shen Huang, Zhenyi Wang, Bo Zhang, Zijian Li, Pengjun Xie, Bo Liu, Jiuxin Cao·· 9 天前AI 评分24
EvoRubric：面向开放式生成的自进化评分标准驱动 RL 框架
EvoRubric: Self-Evolving Rubric-Driven RL for Open-Ended Generation
AI 导读
EvoRubric 是一个协同进化 RL 框架，通过标准有效性反馈、响应区分度和同伴一致性学习开放式生成的评分标准，共享策略同时充当 Reasoner 与 Rubric Generator，冻结的初始策略副本作为 Meta-Verifier。
正文 · AI 翻译
摘要：强化学习（RL）在可验证领域推动了大语言模型（LLM）的发展，而开放式生成由于缺乏明确的奖励仍然具有挑战性。基于评分标准的 RL 提供了明确的评估标准，但当最终答案的正确性无法验证时，学习构建这些标准仍然具有挑战性。我们提出 EvoRubric，一个协同进化的 RL 框架，结合标准有效性反馈、响应区分度和同伴一致性，为开放式生成学习评分标准。一个共享策略同时充当推理器和评分标准生成器，利用其当前响应和历史评分标准来发现新的评估维度。为了将自适应评分标准发现与稳定的有效性检查相结合，初始策略的冻结副本充当元验证器，而一个冻结的评分器根据保留的标准对响应进行评分。区分性反馈、留一法同伴共识以及持久记忆池将这些反馈转化为互补奖励，共同优化两个策略角色，闭合响应改进与评分标准发现之间的循环。EvoRubric 在医学、写作和科学领域的五个基准上优于匹配的静态和外部演化评分标准基线。在三个训练种子下，它在 8B 上达到五基准平均 56.28，在 14B 上达到 61.13，分别超过最强的匹配基线 3.09 和 2.06 分。人工审计评估了标准有效性和响应质量，使用专家初始化评分标准的实验表明其与人类先验兼容。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.29847 [cs.CL] |
| （或 arXiv:2605.29847v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.29847 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xin Guan [查看电子邮件]
[v1]
2026年5月28日星期四 12:28:49 UTC（697 KB）
[v2]
2026年10月8日星期四 03:01:22 UTC（538 KB）
来源：arXiv cs.CL · arxiv.org