arXiv cs.CL· Shin'ya Yamaguchi·· 12 小时前AI 评分29
用上下文感知解码缓解思维链中的查询捷径
Mitigating Query Shortcuts in Chain-of-Thought with Context-Aware Decoding
AI 导读
研究将对比解码方法 CAD 应用于 CoT 推理，提出 Rationale Contrastive Decoding（RCD），通过对比有无推理依据条件下的下一 token 分布，放大因依据而提升概率的 token。在五个推理基准上，RCD 相比标准 CoT 提升了答案准确率，干预分析显示最终答案对推理依据内容的依赖增强。该方法无需训练，为缓解查询捷径提供了简单途径。
正文 · AI 翻译
摘要：虽然思维链（CoT）提示提升了大语言模型（LLM）的推理表现，但近期研究表明，最终答案并不总是依赖于所生成的推理依据。特别是，LLM 可能依赖查询特定的捷径，而非其推理步骤所提供的信息。本文研究上下文感知解码（CAD）这一现有的对比解码方法，在应用于 CoT 推理时能否缓解此类捷径行为。我们将这一应用称为推理依据对比解码（RCD），它对比以查询为条件、分别包含和不包含其推理依据时的下一词元分布，放大因推理依据而似然提高的词元。我们通过 KL 正则化奖励最大化目标，为该解码规则提供了理论解释。在五个推理基准上的实验表明，RCD 相比标准 CoT 提升了答案准确率。此外，使用真实与随机推理依据的干预分析表明，RCD 增强了最终答案在行为上对推理依据内容的依赖。我们的发现表明，对比解码为缓解查询捷径提供了一种简单、无需训练的方法。
| 评论： | 9 页，3 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.29518 [cs.CL] |
| （或 arXiv:2610.29518v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29518 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shin'ya Yamaguchi [查看邮箱]
[v1]
2026 年 10 月 21 日星期三 10:05:25 UTC（245 KB）
来源：arXiv cs.CL · arxiv.org