arXiv cs.AI· Sizhe Chen, Sanjay Kariyappa, Liwei Jiang, Chong Xiang, Jihye Choi, Chaowei Xiao, G. Edward Suh·· 14 小时前AI 评分38
通过目标-目标冲突学习改进 LLM 指令层级
Improving Instruction Hierarchy by Learning from Goal-Goal Conflicts
AI 导读
研究者发现现有 OpenAI 和 NVIDIA 的指令层级（IH）训练集缺失一类"目标-目标冲突"，用这类样本微调 Qwen3.5-9B 和 Gemma4-12B-it 后，模型在训练中未见的广泛真实任务上 IH 表现显著提升。将这些样本加入现有 IH 训练集也能获得更好的指令遵循效果，且在八个 benchmark 的无冲突任务上平均效用变化极小。
正文 · AI 翻译
摘要：最近 OpenAI 智能体自主入侵 Hugging Face 基础设施的事件，说明了指令层级（IH）的重要性：LLM 只有在低优先级指令（如用户请求）与高优先级指令（如系统策略）不冲突时，才应遵循低优先级指令。通过在模拟的指令冲突示例上微调 LLM，可以有效提升 IH，而这些示例的多样性是教会 LLM 在测试时正确处理冲突的关键。然而，我们将任务分解为目标和约束后发现了一种冲突类型——目标-目标冲突——它不存在于 OpenAI 和 NVIDIA 现有的 IH 训练集中。我们展示了这种冲突类型的重要性：在此类冲突示例上微调 Qwen3.5-9B 和 Gemma4-12B-it，能显著提升模型在训练中未见过的广泛真实任务上的 IH；将这些示例加入现有 IH 训练集进行微调，也能获得更好的 IH 遵循度。在八个基准的无冲突任务上，IH 的提升伴随着可忽略的平均效用变化。我们的工作主张将这种新的冲突类型纳入 IH 训练，即使这些示例并不反映典型的 LLM 使用场景。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.35093 [cs.AI] |
| （或 arXiv:2610.35093v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35093 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Sizhe Chen [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 09:33:17 UTC（464 KB）
来源：arXiv cs.AI · arxiv.org