arXiv cs.CL· Nicol\'as Vera Z\'u\~niga·· 2 天前AI 评分31
字节级模型该在哪里分配算力：BLT 的 novelty patching 压缩视角
Patch where the text is new: a compression view of where byte-level models should spend compute
AI 导读
针对 Byte Latent Transformer（BLT）按下一字节熵值划分 patch 会跳过算式结果的问题，研究者提出基于 LZ77 压缩思想的 novelty patching：在字节不太可能重复近期上下文处开启 patch，该规则仅需一张基于前两字节的查找表，数秒内即可在无标签原始文本上拟合完成。
正文 · AI 翻译
摘要：诸如 Byte Latent Transformer（BLT）之类的字节级语言模型对每个 patch 运行一次其大型全局模型，并在小模型的下一字节熵较高处开始一个 patch。该规则很少在行内计算结果处开始 patch，例如解答中“=”后面的数字，并且在紧张的 patch 预算下，其在这些结果上的准确率会崩溃。我们提出新颖性分块（novelty patching），其动机来自 LZ77 风格的压缩：在即将到来的字节不太可能重复近期上下文的位置开始一个 patch。该规则是一个基于前两个字节的查找表，可在数秒内基于原始文本拟合，无需标签、参考模型或损失。在从头开始训练、使用匹配的约 11% patch 率（每种 3 个种子）在 1.9 GB 数学语料上训练的 BLT 风格模型中，它在 1M 参数时没有明显效果，在 12M 时将最终答案准确率从 47% 提高到 72%，在 50M 时将计算结果准确率从 21% 提高到 57%，并将最终答案准确率从 60% 提高到 90%；在原始预训练语料上拟合的表仍能保持该增益。在数学之外，优势缩小：新颖性降低了散文上的每字节比特数，并在源代码和合成执行轨迹上与熵持平。对边界落点的分析解释了这一模式。计算结果对分块器模型而言具有普通的惊奇度，因此寻求惊奇度的规则会忽略它们：熵将 patch 起点集中在高惊奇度字节上，在所有规则中最强（边界富集 1.61），并且在计算结果上表现最差，而最佳规则则接近随机富集。新颖性在接近计算的分段起点处有新内容开始的地方有效，例如书面数学；学习型分块器（H-Net）在数学和代码中自行发现此类结构。我们还报告了哪些方法没有奏效：将类型化不确定性作为训练规则、训练后切换规则，以及上下文感知的新颖性预测器。
| 评论： | 10 页，2 幅图，5 张表。代码、日志和结果：此 https URL |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.22100 [cs.CL] |
| （或 arXiv:2610.22100v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22100 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Nicolás Vera [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 15:47:08 UTC（285 KB）
来源：arXiv cs.CL · arxiv.org