arXiv cs.CL· Yijun Li, Zhengxi Lu, Zhipiao Liu, Jinzheng Yu, Xutao Weng, Jian Shao, Yongliang Shen·· 10 小时前AI 评分31
RuACT：将失效评分项转化为自适应评论者与教师
RuACT: Recovering Inactive Rubrics as Adaptive Critics and Teachers
AI 导读
RuACT 提出将基于评分项强化学习中的失效评分项按缺失类型分配角色：不可达评分项作为特权信息用于奖励门控的在线自蒸馏（Rubric as Teacher），饱和评分项则分解为共享父权重的子评分项以区分当前回答（Rubric as Critic）。
正文 · AI 翻译
摘要：基于评分标准的强化学习（RL）通过依据查询特定的评分标准对每个回答进行打分，将带有可验证奖励的 RL 扩展到开放式任务。然而，在组相对优化下，如果某个评分标准被所有采样回答都未通过（不可达）或都通过（饱和），则所有回答得到相同结果，无法提供学习信号；在 Qwen3-4B 医学训练中，60.88% 的查询-评分标准观测处于非激活状态。我们发现这两种状态缺乏的监督并不相同：在提示中陈述一个不可达的评分标准可将其满足率从 1.13% 提升至 91.25%，而全部通过某个饱和评分标准的回答在质量上仍有差异。因此，我们提出 RuACT（Rubrics as Adaptive Critics and Teachers），为每个非激活评分标准分配能够弥补其缺失的角色。Rubric as Teacher 将不可达评分标准作为特权信息，用于奖励门控的在线策略自蒸馏；Rubric as Critic 将饱和评分标准分解为子评分标准，在共享父评分标准权重的同时区分当前回答。RuACT 在 Qwen3-4B 上于全部四个医学与科学基准上优于 GRPO、评分标准重加权和评分标准引导探索，并在 Qwen3-1.7B 上取得最佳平均值。在初始不可达评分标准上，无引导恢复率从 35.02% 提升至 42.86%，而子评分标准细化将独立 rollout 上的奖励-质量对齐从 57.74% 提升至 60.77%。代码见 此 https URL。
| 评论： | 22 页，10 幅图，10 张表。代码：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.09597 [cs.CL] |
| （或 arXiv:2611.09597v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.09597 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yijun Li [查看邮箱]
[v1]
2026 年 11 月 6 日星期五 15:27:17 UTC（2,000 KB）
来源：arXiv cs.CL · arxiv.org