Hacker News· sinnsro·· 6 天前AI 评分32
Byte Language Models：扩展性、涌现抽象与信息分配
Byte Language Models: Scaling, Emergent Abstractions, and Information Allocation
AI 导读
研究显示，无分词器的字节级 Transformer 在模型规模扩大时持续优于子词 Transformer，并能自发学到类似分词的局部文本抽象结构。将最多 25% 的中间层限制在这些局部表示上仍可保持下游性能，且生成不确定性集中在局部结构边界，用于投机解码时被接受的 token 数比子词 Transformer 多 3.4 倍。
正文 · AI 翻译
摘要：无分词器语言模型通过将文本直接建模为字节，消除了固定分词器带来的归纳偏置，但由此产生的更长序列大幅增加了计算量，并消除了显式的文本抽象。我们追问这种额外的计算是否有用，以及标准 Transformer 能否学习分词所提供的抽象。我们在没有专门针对分词相关架构的 Transformer 上研究这些问题。借助 token-superposition 训练和哈希嵌入，随着模型规模扩大，字节 Transformer 持续优于子词 Transformer。我们进一步发现，字节 Transformer 像外部分词器一样构建局部文本抽象：一组类似分词的位置被用来收集局部上下文表示，将最多 $25\%$ 的中间层限制为这些局部表示仍能保持下游性能。最后，这些学到的结构导致高度不均匀的生成难度，不确定性集中在局部结构边界附近；利用它们进行推测解码，相比子词 Transformer 可获得 $3.4\times$ 更多被接受的 token。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.05978 [cs.CL] |
| （或 arXiv:2610.05978v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.05978 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jie Wang [查看邮箱]
[v1]
2026年10月5日星期一 08:29:08 UTC（479 KB）
来源：Hacker News · arxiv.org