arXiv cs.AI· Wei Chen, Yubing Wu, Shigui Li, Delu Zeng, Jingfeng Liu, Junmei Yang, Zhiheng Zhou, Bo Li, Min Chen, Zhou Wang·· 12 小时前AI 评分26
RubricOpt：让策略自我修订语义评分标准以优化偏好训练
RubricOpt: Self-Revision of Semantic Rubrics for Preference Optimization
AI 导读
RubricOpt 框架让策略在偏好优化过程中自行诊断无评分标准时的输出，保留已覆盖的要求并修订未解决反复失败问题的条款，再由修订后的评分标准在训练中引导 DPO，评估时移除。在能力与开放式生成基准上，评分标准条件化可优于普通 DPO，但增益与退化因模型和数据集而异；匹配的延续实验显示该编辑带来的增量效果不一。
正文 · AI 翻译
摘要：模型的失败可以揭示其训练所依据的行为准则中的缺口。我们提出 RubricOpt，一个让策略在偏好优化中修订这些准则的框架。该策略对自身无评分标准的输出进行诊断，保留评分标准已覆盖的要求，并编辑那些使反复出现的失败仍未得到解决的条款。一种共享语义表示连接任务需求、偏好数据对比和评分标准条款，同时一个确定性门控检查证据引用和固定语义锚点。随后，评分标准在训练期间指导直接偏好优化（DPO），偏好对、标签和目标保持不变，并在评估时移除。我们的分析将无评分标准成功率的局部效应与语义对齐以及超出所测因素的残差联系起来。在能力与开放式生成基准上的实验表明，评分标准条件化可以比普通 DPO 改善结果，但收益和回退因模型和数据集而异。一项匹配的延续实验将修订的贡献与额外训练区分开来，并发现所测试编辑的增量效应好坏参半，其反馈与评估集重叠。因此，RubricOpt 将行为规范本身带入策略的反馈回路。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.29491 [cs.AI] |
| （或 arXiv:2610.29491v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29491 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wei Chen [查看电子邮件]
[v1]
2026年10月21日星期三 09:46:37 UTC（246 KB）
来源：arXiv cs.AI · arxiv.org