arXiv cs.CL· Eran Goldstein, Yuval Belfer, Yonatan Belinkov, Daniel Gissin·· 12 小时前AI 评分38
LIFT：用于评估与训练指令遵循的范围化约束
LIFT: Scoped Constraints for Evaluating and Training Instruction Following
AI 导读
研究者提出 Lift-Bench，一个要求模型根据主题和结构化大纲撰写文档的指令遵循基准，约束被限定在特定文档章节内，同时包含可验证约束与评判式约束。该基准同时提供主任务与指令遵循约束，以缓解浅层奖励攻击，并配套训练集 Lift-Train；实验显示前沿模型在较难子集上表现吃力，且用 Lift-Train 训练比用常见 IFTrain 更不易出现奖励攻击。
正文 · AI 翻译
摘要：常见的指令遵循（IF）基准，如 IFEval，评估语言模型（LM）遵循可轻松通过程序验证的简单约束的能力。反过来，这些相同的约束被用作强化学习的奖励信号。这种设计可能导致对约束的奖励黑客攻击，使模型偏离主任务。最近为解决这一问题所做的尝试产生了具有更丰富约束的基准，但需要专家劳动、仍为封闭获取，且无法轻易扩展。我们提出 Lift-Bench，一个 IF 基准，要求模型根据主题和结构化大纲起草文档。约束被限定在特定文档章节，从而对约束密度提供更精细的控制。Lift-Bench 包含可验证和经评判的约束，以及一个训练对应物 Lift-Train。重要的是，Lift-Bench 同时提供主任务和指令遵循约束，从而缓解浅层奖励黑客攻击。在对多个模型的实验中，我们发现前沿模型在我们基准的较难子集上表现不佳，并从多个维度分析模型性能。我们还发现，在 Lift-Train 上训练比在常见的 IFTrain 上训练更不容易受到奖励黑客攻击。Lift-Bench 和 Lift-Train 以及数据生成流水线均已公开可用。
| 学科： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2610.28819 [cs.CL] |
| （或此版本的 arXiv:2610.28819v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.28819 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yonatan Belinkov [查看电子邮件]
[v1]
2026年10月20日星期二 18:40:22 UTC（1,028 KB）
来源：arXiv cs.CL · arxiv.org