arXiv cs.CL· Maitrey Mehta, Nishant Subramani, Zhichao Xu, Ashim Gupta, Vivek Srikumar·· 10 小时前AI 评分32
基于可解释性的词表扩展：FragMend 如何修复 LLM 的 token 过度碎片化
Defragmenting Language Models: An Interpretability-based Approach for Vocabulary Expansion
AI 导读
研究提出基于可解释性的词表扩展方法，挑战了传统按词频挑选新增词表项的做法，并在非拉丁文字语言上比基线嵌入初始化方法提升约 20 分。团队还发现模型各层会逐步将碎片化子词合并为更大子词的“子词去分词”现象，并据此提出 FragMend 方法以推高可解释性扩展的效率上限，成果发表于 COLM 2026。
正文 · AI 翻译
摘要：所有语言都是平等的；但在分词方面，有些语言比其他语言更平等。Token 是决定当代 LLM 访问成本和延迟的隐藏货币。然而，许多使用非拉丁文字书写的语言面临着糟糕的兑换率：对于同样的信息，LLM 用许多语言编码所需的 token 数量是英语的数倍。我们观察到，这一被称为 token 过度碎片化的问题在现代开放权重 LLM 中依然存在。标准的补救措施是词表扩展，即添加模型词表中缺失的目标语言条目。我们聚焦于词表扩展过程中的两个核心决策：应该添加哪些条目？以及应该如何初始化它们对应的输入和输出嵌入？我们围绕这两个核心决策，全面研究并推进了基于可解释性的词表扩展这一新研究方向，做出了四项关键贡献：第一，我们质疑了传统上使用基于频率的方法来选择待添加候选词表条目的做法（这一决策长期被视为已有定论），并表明基于可解释性的方法在性能与 token 效率之间提供了更优的权衡。第二，我们通过展示在多种使用非拉丁文字书写的语言上相比基线初始化方法约 20 个点的显著提升，进一步强化了基于可解释性的嵌入初始化的论据。第三，我们识别出了“子词去分词化”现象，即模型在各层中逐步将碎片化的子词 token 合并为更大的子词。第四，我们提出了 FragMend，一种利用该现象来推高基于可解释性扩展的效率上限的方法，并验证了其有效性。
| 评论： | 发表于 COLM 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2604.16656 [cs.CL] |
| （或 arXiv:2604.16656v2 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2604.16656 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Maitrey Mehta [查看邮箱]
[v1]
2026年4月17日星期五 19:21:11 UTC（945 KB）
[v2]
2026年11月1日星期日 23:31:34 UTC（1,241 KB）
来源：arXiv cs.CL · arxiv.org