arXiv cs.CL· Ruochen Liu, Hao Yan, Ziluowen Luo, Senzhang Wang, Sihong Xie·· 16 小时前AI 评分31
首个推理 token 如何持续影响推理长度：注意力敏感位置的作用
Beyond the Opening: Tracing the First Token's Persistent Influence on Reasoning Length
AI 导读
研究发现，仅替换推理前缀的第一个 token 并继续生成，即使其余前缀 token 不变，剩余推理长度也会明显改变。通过对比不同首 token 条件下的下一 token 分布，敏感度集中在少数生成位置上；阻断这些位置对首 token 的注意力可缩小不同首 token 条件间的长度差距，而在这些位置替换为其他首 token 条件的下一 token 分布同样会显著改变后续推理长度。
正文 · AI 翻译
摘要：理解单个 token 的选择如何影响推理长度，对于刻画推理模型具有重要意义。基于此前发现——改变第一个推理 token（以下简称首 token）可以显著改变推理长度——我们聚焦于这一初始选择，考察其影响在后续生成过程中如何发挥作用。一种可能是，首 token 改变了紧随其后的早期文本，进而影响推理长度。然而，仅替换已有推理前缀的首 token 并继续生成，即使其余前缀 token 均保持不变，剩余推理长度也会发生显著变化。为追踪这种持续影响，我们在仅改变首 token 的情况下比较下一 token 分布，发现敏感性集中在少数生成位置上。阻断这些位置对首 token 的注意力可缩小不同首 token 条件之间的长度差距。在这些位置上使用来自另一首 token 条件的下一 token 分布，也会显著改变后续推理长度。综上，这些发现表明，少数敏感位置对首 token 的注意力有助于维持其长度效应，说明局部 token 选择如何持续影响序列级结果。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34350 [cs.CL] |
| （或 arXiv:2610.34350v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34350 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ruochen Liu [查看邮箱]
[v1]
2026年10月25日星期日 15:03:34 UTC（468 KB）
来源：arXiv cs.CL · arxiv.org