arXiv cs.CL· Jie Yu, Yuxi Sun, Zhaoxu Li, Chunxiao Liu, Xudong Jiang·· 2 天前AI 评分27
CoTS：面向大语言模型隐式推理的竞争性 token 选择
CoTS: Competitive Token Selection for Latent Reasoning in Large Language Models
AI 导读
研究者提出免训练框架 CoTS，将隐式推理干预从二元模式选择改为 token 级的连续分配，利用两个最可能候选 token 的概率竞争动态平衡离散承诺与软探索。候选明显占优时保持接近采样离散 token 以稳定推理轨迹，竞争加剧时则提升软表示贡献以保留备选路径。该方法无需人工设定切换阈值或混合系数，也不增加额外前向计算，在六个推理基准上持续优于标准 CoT 及当前最优的免训练隐式推理方法。
正文 · AI 翻译
摘要：近期的潜在推理方法通过用连续软嵌入或隐藏状态替代采样 token，超越了离散的思维链（CoT），从而实现了更丰富的中间表示并保留了备选推理路径。然而，潜在推理的需求因解码步骤而异：高置信度的预测倾向于离散承诺，而模糊的步骤则受益于保留多个合理备选。现有方法通常通过全局软激活或基于不确定性阈值的硬切换来处理这种差异，将潜在干预视为全有或全无的决策，而非持续调整其强度。为解决这一局限，我们提出了竞争性 token 选择（CoTS），一个无需训练的框架，将潜在干预从二元模式选择重新定义为 token 级别的连续分配。CoTS 利用两个最可能候选之间的概率竞争，在每个推理步骤动态平衡离散承诺与软探索。第二候选代表了模型偏好延续的最强备选，因此两者之间的差距直接反映了当前离散选择的稳定性。当一个候选明显占优时，CoTS 使表示接近采样的离散 token，以保持稳定的推理轨迹；随着竞争加剧，它增加软表示的贡献以保留合理的备选。这种基于竞争的分配既不需要手动调整切换阈值，也不需要混合系数，且不引入额外的前向传播。在六个推理基准上的实验表明，CoTS 持续优于标准 CoT 和最先进的无需训练潜在推理方法。我们的代码可在 此 https URL 获取。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.20642 [cs.CL] |
| （或 arXiv:2610.20642v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20642 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Jie Yu [查看邮箱]
[v1]
2026年10月8日星期四 02:47:16 UTC（117 KB）
来源：arXiv cs.CL · arxiv.org