arXiv cs.CL· Samarth Varshney, Ritu Yadav·· 14 小时前AI 评分34
StateWise：让语言模型在多轮对话中跟踪并遵守不断变化的约束
StateWise: Teaching Language Models to Track and Obey Evolving Constraints in Multi-Turn Dialogue
AI 导读
StateWise 通过微调让单个 LLM 自行维护可修订的约束状态（含已撤销约束的墓碑标记），并在自生成轨迹上自训练，仅保留通过精确往返校验的轮次。
正文 · AI 翻译
摘要：对话助手的用户很少一开始就陈述所有要求：他们会添加约束、修改约束、撤回约束、跑题，然后再回到正题。指令微调的 LLM 在这里有两种失败方式：随着轮次累积，活动约束不再被遵守（持久性失败），而被撤回的约束却继续被执行（复发）。我们所知的唯一现有修复方法是使用外部账本，在每一轮重新注入编译好的规范。我们提出 StateWise，一种自我改进方法，它教会单个 LLM 维护自己的可修订约束状态——一种带有已撤销约束墓碑标记的类型化状态——从而通过可执行检查器来衡量持久性和复发，并免费编译出真实状态。StateWise 在两个互补技能上微调 LLM：将对话总结为其约束状态，以及基于该状态进行响应，然后在其自身轨迹上自我训练，只保留那些通过针对编译状态的精确往返检查的轮次。这教会了 7-8B 模型几乎完美地跟踪状态，但令人惊讶的是，并不能让它们遵守状态：在 Llama-3.1-8B 上，每个监督变体都使复发大约翻倍。因此，我们在自生成的复发对比上增加了一个偏好阶段，其中被拒绝的响应执行了一条已撤销的规则，而被选中的响应通过了往返检查。在两个具有留出约束家族和未见措辞的骨干模型上，StateWise 相对于监督自我训练将复发减少了 8-22 个百分点，相对于骨干模型将对话成功率提高了 8-19 个百分点，并且在没有任何推理时脚手架的情况下，在复发方面击败了 oracle 编译账本基线。我们还描述了该配方在通用指令遵循基准上的成本，并研究了权重插值作为缓解措施。
| 评论： | 13 页，1 幅图，5 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.33766 [cs.CL] |
| （或 arXiv:2610.33766v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.33766 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Samarth Varshney [查看电子邮件]
[v1]
2026 年 10 月 24 日星期六 16:17:56 UTC（54 KB）
来源：arXiv cs.CL · arxiv.org