arXiv cs.CL· Jihao Zhao, Shuaishuai Zu, Zhiyuan Ji, Chunlai Zhou, Biao Qin·· 2 天前AI 评分27
Writer-R1：面向开放式写作强化学习的动态评分标准挖掘
Writer-R1: Dynamic Rubric Mining for Reinforcement Learning of Open-Ended Writing
AI 导读
Writer-R1 是一套围绕归纳式评分标准生成（IRG）构建的写作训练流程，将评分标准同时用作生成引导与强化学习奖励依据，并训练出 4B 的 RubricGen-4B 为新请求自动提供评分标准。它在 4B 和 8B 基座上将 WritingBench 分数分别提升 0.182 和 0.158，HelloBench 上也有增益，消融实验显示 IRG 优于直接生成评分标准。
正文 · AI 翻译
摘要：面向开放式写作的训练模型需要多样化的提示词以及对回复质量足够精确的规范。大规模构建此类规范需要还原任务要求、整合重叠的评判标准，并界定不同表现层级之间可观察的差异。我们提出 Writer-R1，一个围绕归纳式评分标准生成（Inductive Rubric Generation，IRG）构建的写作训练流程，它将上述操作整合为一个自动化的评分标准构建过程。该流程扩展了一个开放式写作语料库，并在监督训练和强化学习（RL）中全程使用由此得到的针对具体提示词的评分标准。每个评分标准都与用户请求拼接，同时也定义了奖励标准，使用于评估的要求在生成之前就对写作者可见。一个紧凑模型 RubricGen-4B 学会为新的请求提供评分标准。Writer-R1 在 4B 和 8B 基座模型上分别将 WritingBench 分数提升了 0.182 和 0.158，在 HelloBench 上也有提升。训练消融实验表明 IRG 优于直接生成评分标准，进一步的分析也支持评分标准的可迁移性以及写作者改进在不同评估器下的稳健性。这些结果支持将归纳式挖掘出的评分标准同时用作开放式写作的生成指导和奖励规范。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2603.15061 [cs.CL] |
| （或使用 arXiv:2603.15061v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2603.15061 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jihao Zhao [查看邮箱]
[v1]
2026年3月16日星期一 10:18:20 UTC（9,718 KB）
[v2]
2026年10月15日星期四 02:36:00 UTC（13,203 KB）
来源：arXiv cs.CL · arxiv.org