arXiv cs.CL· Lin Zheng, Vasilisa Bashlovkina, Timothy Dozat, Dan Garrette, Laura Rimell, Joshua Maynez·· 10 小时前AI 评分34
Scratchpad Patching：在字节级语言模型中解耦计算量与 patch 大小
Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models
AI 导读
Scratchpad Patching（SP）通过在每个 patch 内插入临时 scratchpad 聚合已见字节并刷新 patch 级上下文，缓解 patch 越大因果滞后越严重的问题。
正文 · AI 翻译
摘要：无分词器语言模型通过直接处理字节，消除了语言建模流程中的分词器步骤；基于补丁的变体进一步将连续的字节片段聚合为补丁以提高效率。然而，在模型设计阶段选择的平均补丁大小决定了一个紧密的权衡：更大的补丁减少计算量和 KV 缓存占用，但会降低建模质量。我们将这一权衡追溯到补丁滞后：在补丁被完全观测之前，其中的字节预测必须依赖前一个补丁的过时表示以保持因果性；随着补丁增大，这种滞后会加剧。我们提出了 Scratchpad Patching（SP），它在每个补丁内部插入临时暂存区，以聚合目前已见到的字节，并为后续预测刷新补丁级上下文。SP 使用下一字节预测熵触发暂存区，有选择地将计算分配给信息密集区域，并支持在推理时事后调整计算量。在自然语言和代码上的实验中，SP 在相同补丁大小下提升了模型质量；例如，即使在每补丁 $16$ 字节的情况下，SP 增强模型在下游评估中也能匹配或接近字节级基线，同时在补丁上使用的 KV 缓存小 $16\times$，且所需推理计算量比字节级基线少约 $3$-$4\times$。
| 评论： | 31 页，15 张图 |
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.09630 [cs.CL] |
| （或 arXiv:2605.09630v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.09630 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Lin Zheng [查看电子邮件]
[v1]
2026年5月10日星期日 16:18:22 UTC（195 KB）
[v2]
2026年11月6日星期五 17:01:55 UTC（252 KB）
来源：arXiv cs.CL · arxiv.org