研究：分词方式决定词内自适应计算分配
热点事件持续更新
研究：分词方式决定词内自适应计算分配
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Dipto Sumit 等作者在 arXiv 发表研究，分析基于置信度的早退策略如何在单词内部各片段间分配计算量。对 Qwen3 的离线分析显示，英语、德语、土耳其语中单词后续片段获得的计算少于首片段，孟加拉语则相反；作者认为分词方式是造成这一差异的主因。 作者称，用 BPE-dropout 重新分词可使两个自适应轴上的差距最多移动 8 个出口层；BLOOM 和 mGPT 因对孟加拉语切分更粗，呈现出与英语相同的模式。
AI 根据报道生成 · 46 分钟前更新
最新进展11月4日 13:00
研究揭示：Token 并非难度单位，分词方式决定词内自适应计算分配报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CL研究揭示：Token 并非难度单位，分词方式决定词内自适应计算分配
针对 Qwen3 的离线分析发现，基于置信度的早退策略在英语、德语、土耳其语中给单词后续片段分配的计算少于首片段，在孟加拉语中却更多，分词方式是主因。用 BPE-dropout 重新分词可使两个自适应轴上的差距最多移动 8 个出口层，BLOOM 和 mGPT 因对孟加拉语切分更粗而呈现英语模式。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。