arXiv cs.AI· Jian Hong, Chen Cheng, Quan Liu, Yuhao Chen, Enhong Chen·· 11 小时前AI 评分34
STAIF：面向复杂指令遵循的分阶段优化框架
STAIF: A Stage-wise Optimization for Complex Instruction Following
AI 导读
研究者提出 STAIF 分阶段优化框架，将主观软约束的对齐与客观可验证硬约束的优化解耦：第一阶段用多负样本偏好优化提升对软约束的敏感度，第二阶段用 RLVR 强化硬约束的严格满足。团队同时构建了约 31,000 条中英双语多约束指令数据集 STAINSTRUCT，在代表性基准上取得 SOTA 表现并展现出泛化能力。
正文 · AI 翻译
摘要：遵循带有多个明确约束的复杂指令仍然是大语言模型（LLM）面临的一项根本性挑战。现有的对齐方法（如 DPO）优化的是整体奖励信号，往往低估了对单个约束的严格满足，尤其是在分布外或多约束设置下。本文提出 STAIF，一种分阶段优化框架，将主观（软）约束的对齐与客观可验证（硬）约束的优化解耦。阶段 1 采用带多个负样本的偏好优化，以增强对软约束的敏感度；阶段 2 采用可验证奖励强化学习（RLVR），以强制严格遵循硬约束。为支持该方法，我们构建了 STAINSTRUCT，一个约 31,000 条复杂多约束指令的高质量双语（英文、中文）数据集。大量分析验证了 STAIF 的设计，并表明其在代表性基准上相较强基线取得了最先进的性能，且具备真正的泛化能力。
| 评论： | 16 页，6 幅图 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2607.22649 [cs.AI] |
| （或 arXiv:2607.22649v2 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2607.22649 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Chen Cheng [查看邮箱]
[v1]
2026 年 6 月 26 日星期五 06:14:07 UTC（10,361 KB）
[v2]
2026 年 10 月 16 日星期五 10:00:07 UTC（10,395 KB）
来源：arXiv cs.AI · arxiv.org