arXiv cs.AI· Ying Li, Yuqi Chen, Sixuan Li, Yunfeng Cai·· 3 天前AI 评分22
Dynamic K-Head：面向连续隐式推理的难度监督预算选择
Dynamic K-Head: Difficulty-Supervised Budget Selection for Continuous Latent Reasoning
AI 导读
Dynamic K-Head 是一种问题条件化的预 rollout 预算选择器，与推理器在选定预算下联合训练，用仅基于问题的难度监督信号指导。
正文 · AI 翻译
摘要：思维链（CoT）提升了推理能力，但会带来大量自回归推理过程的成本。连续 CoT 将中间计算移入循环隐藏状态，然而通常使用固定数量的更新，尽管最佳预算因问题而异，且准确率未必随 $K$ 单调提升。我们提出 Dynamic K-Head，一种以问题为条件、在 rollout 之前进行预算选择的机制。它与推理器在选定预算下联合训练，使用仅基于问题本身分配的分数进行难度监督。我们还表明，潜在更新次数可能无法反映端到端成本，因为较短的潜在 rollout 可能将计算转移到更长的显式续写中。因此，我们统计潜在更新、特定于实现的特殊 token 以及所有解码文本。在 Llama 3.2 1B 和 GSM8K 上以 CoDI 实例化后，Dynamic K-Head 在平均 12.03 个推理/输出 token 下达到 54.44% 的精确匹配准确率，而固定 $K=6$ 的 CoDI 在 15.21 个 token 下为 52.31%——准确率提升 2.12 个百分点，token 成本降低 20.9%。在三个分布外算术数据集上，它将成本降低 19.3--25.7%，同时将准确率提升 0.30--2.22 个百分点。这些结果表明，难度监督的预算选择可以同时提升准确率和效率，而稳定的预算选择仍是一个核心挑战。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17679 [cs.LG] |
| （或 arXiv:2610.17679v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17679 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ying Li [查看电子邮件]
[v1]
2026年10月13日星期二 04:02:46 UTC（137 KB）
来源：arXiv cs.AI · arxiv.org