arXiv cs.CL· Zizhuo Lin, Quanling Liu, Jinsheng Quan, Chao Zhang, Yifan Zhu, Xing Shi, Jingtao Xu, Zhihui Li, Yawei Luo·· 11 小时前AI 评分31
相同证据不同答案：面向多轮语言模型的规范上下文同策略蒸馏（CCOPD）
Same Evidence, Different Answers: Canonical-Context On-Policy Distillation for Multi-Turn Language Models
AI 导读
研究者提出 Canonical-Context On-Policy Distillation（CCOPD），用同一基座模型分别充当基于完整提示词的冻结教师和逐轮接收证据的可训练学生，对齐学生自身轨迹与教师全上下文行为。
正文 · AI 翻译
摘要：大型语言模型（LLM）在单次提示中给出全部指令时往往能解决任务，但当相同信息在多轮对话中逐步揭示时却会失败。当干净的 FULL 提示与 RAW-SHARDED 对话包含相同的完整用户证据时，模型仍应得出相同的答案。我们认为造成这一差距的一个关键原因是自我锚定漂移：在部分信息下生成的回答会引入缺乏支持的假设，而这些假设随后会扭曲最终答案。为减轻这一影响，我们提出规范上下文同策略蒸馏（CCOPD）。在训练期间，同一基础模型承担两种角色：一个以干净 FULL 提示为条件的冻结教师模型，以及一个通过多轮对话逐步接收相同证据的可训练学生模型；CCOPD 将学生模型在其自身轨迹上的行为与教师模型的规范全上下文行为对齐。仅在数学问题对话上训练，CCOPD 在数学及五个零样本域外任务族上，使 RAW-SHARDED 性能相对原始基础模型平均提升 32\%，同时基本保持全上下文性能。进一步分析表明，CCOPD 增强了对用户证据的扎根，并降低了对来自先前助手轮次污染的敏感性。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.30251 [cs.CL] |
| （或 arXiv:2605.30251v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.30251 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zizhuo Lin [查看电子邮件]
[v1]
2026年5月28日 星期四 17:14:29 UTC（860 KB）
[v2]
2026年10月20日 星期二 08:59:15 UTC（1,512 KB）
来源：arXiv cs.CL · arxiv.org