arXiv cs.CL· Manh Nguyen, Sunil Gupta, Hung Le·· 11 小时前AI 评分38
多思考还是多阅读？共享上下文下推理的 token 预算理论
Think More or Read More? A Token-Budget Theory of Reasoning with Shared Context
AI 导读
研究提出 token 预算理论，刻画共享 token 窗口下“读上下文”与“推理生成”的取舍：读得越多，可用于思考的预算越少。该理论基于允许相关误差的 Condorcet 陪审团模型，对多智能体辩论给出最优智能体数量的闭式预测，且可由单智能体测量估计，无需实际运行辩论。
正文 · AI 翻译
摘要：推理系统越来越多地通过将额外上下文纳入模型输入来改进答案，从多智能体辩论（智能体阅读同伴的回复）到自我精炼（模型重新审视自己的草稿）。在这些系统中，通信会消耗上下文，因为一个智能体的输出会成为另一个智能体的输入。我们研究这样一种情形：token 读取和生成共用同一个固定的 token 窗口，因此每花一个 token 用于读取，就少一个 token 可用于推理。我们提出一种 \textbf{token 预算理论}来形式化这一权衡，将准确率建模为读取后剩余推理预算的函数，并用允许相关误差的孔多塞陪审团模型来聚合投票。对于多智能体辩论，该理论给出了最优智能体数量的闭式预测。该数量可由单智能体测量结果估计，从而无需运行辩论即可确定最优群体规模，且同样的核算方式可扩展到由不同模型组成的异构集合。我们通过实验验证了该理论，并表明在预测的群体规模下，我们的方法在最为紧张的校准开销下优于强基线，此时经辩论校准的规则仅能负担一两个问题。自我精炼遵循同样的核算方式，只是用自身的草稿替代同伴消息。该理论进一步预测，只有当准确率上限的提升超过用于读取的推理空间时，通信才有收益，且这一条件会随窗口缩小而更加严格。在五个开放模型和四项推理任务上，在 $980$ 个匹配的窗口与群体规模设置中，有 $93$\% 的情况下自洽性达到或超过实际部署的辩论，且差距在紧张窗口下最大、在宽松窗口下几乎消失，这与理论一致。在共享窗口下，模型还剩多少空间用于\textit{思考}，比它读到了什么更重要。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.23246 [cs.CL] |
| （或 arXiv:2610.23246v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23246 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Manh Nguyen [查看邮箱]
[v1]
2026年10月16日星期五 10:18:15 UTC（332 KB）
来源：arXiv cs.CL · arxiv.org