arXiv cs.CL· Pietro Di Nicco, Lucio La Cava, Andrea Tagarelli·· 11 小时前AI 评分22
AdaBPE：面向混合自然语言与结构化符号语料的自适应频率阈值 BPE 分词方法
Adaptive Frequency Threshold Byte Pair Encoding for Mixed Natural Language and Structured Symbolic Corpora
AI 导读
研究者提出 AdaBPE 分词方法，通过自适应频繁模式挖掘，按候选 token 长度和类型动态调整最小频率阈值，避免偏向高频短模式，并区分通用语言与 LaTeX 等形式语言模式。在覆盖 LaTeX 与自然语言的五个数据集上，AdaBPE 在领域特定内容的编码效率和下游语言模型性能上均取得一致提升，且不损害通用语言表现。
正文 · AI 翻译
摘要：现代语言模型依赖子词分词来定义输入处理的离散单元，通常使用字节对编码（BPE）等方法，将空白视为固定的语义边界。这种设计本身存在局限，因为许多有意义的概念——包括多词表达和 LaTeX 等形式语言的结构化环境——经常跨越空白。虽然近期的超词分词方法试图通过放宽空白约束来解决这一问题，但它们往往依赖贪心的频率驱动合并，未能考虑词元长度或代表性不足的特定领域语言的具体需求。在本文中，我们提出自适应频率阈值字节对编码（AdaBPE），这是一种利用自适应频繁模式挖掘方法的新分词方法。AdaBPE 具有双重动态性：它根据候选词元的长度调整最小频率阈值，以防止偏向频繁的短模式；并根据其类型调整阈值，以区分通用语言模式和形式语言模式，并以 LaTeX 为例。这使得模型能够高效地将词汇容量分配给特定领域的记号，例如 LaTeX，即使它们在训练数据中只占很小一部分。我们在涵盖 LaTeX 和自然语言的五个数据集上评估 AdaBPE，结果显示在编码效率和下游语言模型在特定领域内容上的性能方面均有一致提升，同时不影响通用语言性能。
| 学科： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.32921 [cs.CL] |
| （或 arXiv:2610.32921v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.32921 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Andrea Tagarelli [查看电子邮件]
[v1]
2026年10月23日星期五 17:21:18 UTC（196 KB）
来源：arXiv cs.CL · arxiv.org