研究者提出自适应频率阈值分词方法AdaBPE

Pietro Di Nicco、Lucio La Cava 和 Andrea Tagarelli 提出 AdaBPE 分词方法，用自适应频繁模式挖掘，按候选 token 的长度和类型动态调整最小频率阈值，避免偏向高频短模式，并区分通用语言与 LaTeX 等形式语言模式。 在覆盖 LaTeX 与自然语言的五个数据集上，作者报告 AdaBPE 在领域特定内容的编码效率和下游语言模型性能上均有一致提升，且不损害通用语言表现。上述效果为论文作者的实验结果。

AI 根据报道生成 · 53 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。