FragMend：按可解释性扩展词表修复token碎片化
热点事件持续更新
FragMend：按可解释性扩展词表修复token碎片化
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Maitrey Mehta 等作者提出基于可解释性的词表扩展方法 FragMend，挑战传统按词频挑选新增词表项的做法，在非拉丁文字语言上比基线嵌入初始化方法提升约 20 分，成果发表于 COLM 2026。 团队还发现模型各层会逐步将碎片化子词合并为更大子词的“子词去分词”现象，并据此设计 FragMend，称其可推高可解释性扩展的效率上限。
AI 根据报道生成 · 42 分钟前更新
最新进展11月4日 13:00
基于可解释性的词表扩展：FragMend 如何修复 LLM 的 token 过度碎片化报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv cs.CL基于可解释性的词表扩展：FragMend 如何修复 LLM 的 token 过度碎片化
研究提出基于可解释性的词表扩展方法，挑战了传统按词频挑选新增词表项的做法，并在非拉丁文字语言上比基线嵌入初始化方法提升约 20 分。团队还发现模型各层会逐步将碎片化子词合并为更大子词的“子词去分词”现象，并据此提出 FragMend 方法以推高可解释性扩展的效率上限，成果发表于 COLM 2026。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。