arXiv cs.CL· Dipto Sumit, Mahima Mahzabin Sandria, Farig Sadeque, Md. Golam Rabiul Alam·· 10 小时前AI 评分31
研究揭示：Token 并非难度单位，分词方式决定词内自适应计算分配
A Token Is Not a Unit of Difficulty: Segmentation Controls Where Adaptive Computation Goes Inside a Word
AI 导读
针对 Qwen3 的离线分析发现，基于置信度的早退策略在英语、德语、土耳其语中给单词后续片段分配的计算少于首片段，在孟加拉语中却更多，分词方式是主因。用 BPE-dropout 重新分词可使两个自适应轴上的差距最多移动 8 个出口层，BLOOM 和 mGPT 因对孟加拉语切分更粗而呈现英语模式。
正文 · AI 翻译
摘要：早退语言模型为每个 token 决定投入多少计算量，通常是在预测足够自信时停止。然而 token 并非固定单位：分词器在不同语言中会把单词切分成不同数量的片段。我们探究这种策略在单词内部把预算花在哪里。在 Qwen3 中，沿两条自适应轴（脉冲转换的时间步与原始 Transformer 的层），置信度停止在英语、德语和土耳其语中给单词的后续片段分配的计算量少于其首个片段，但在孟加拉语中则更多。分词方式驱动了这一现象。用 BPE-dropout 对相同的平行段落重新分词，会使两条轴上的差距最多移动八次退出，在两种分词器下训练的小模型使孟加拉语的差距移动六次退出，而 BLOOM 和 mGPT 对孟加拉语切分较粗，呈现出英语的模式。每 token 字符数无法跨语言预测该差距；词内惊奇度解释了其 75% 的方差。学习式停止头比置信度停止高出 7 到 8 个百分点，但在同等成本下比固定退出次数的最佳混合方案提升不到一个百分点，有时还会更差。所有结果均来自离线分析，而非实测加速。
| 评论： | 17 页，12 幅图 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.00983 [cs.CL] |
| （或 arXiv:2611.00983v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00983 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Farig Sadeque [查看电子邮件]
[v1]
2026 年 10 月 31 日星期六 14:23:37 UTC（172 KB）
来源：arXiv cs.CL · arxiv.org