arXiv cs.CL· Nicol\'as Vera Z\'u\~niga·· 9 天前AI 评分22
BLT 的熵触发分块存在盲区：边界依赖信号能找回被跳过的计算结果
Easy to anticipate, hard to compute: boundary dependence finds the computed outputs that entropy patching misses
AI 导读
字节级模型 BLT 按下一字节熵值决定 patch 起点，会系统性跳过"类型可预测但数值需计算"的位置，如数学解题中"="后的结果。在 Meta BLT-1B 上，10% 字节设 patch 起点时熵规则仅答对 19.0% 的计算结果，每个"="后设边界可达 51.8%，熵结合无标签的边界依赖信号达 67.1%。该差距在低秩微调后仍存在（32.9% vs 72.7%），并随模型规模扩大而增大。
正文 · AI 翻译
摘要：字节级语言模型（如 Byte Latent Transformer，BLT）将字节分组为补丁（patch），并针对每个补丁运行一次其大型全局模型。BLT 在小模型下一字节熵较高处开始一个补丁，因此全局计算会分配到下一字节难以预测的位置。我们表明这一规则存在系统性盲点：那些类型可预测但值必须计算的位置，例如已解数学题中“=”之后的数字。在紧张的补丁预算下，熵触发布局会跳过这些位置，其准确率随之崩溃。在 Meta 的 BLT-1B 中，补丁起始位置覆盖 10% 的字节时，熵规则在 GSM8K 解答中为 16% 的计算结果放置了补丁起始，并使其中的 19.0% 完全正确；在相同补丁数量下，每个“=”之后设置边界可达到 51.8%，而熵结合无标签的边界依赖信号可达到 67.1%（默认布局覆盖 26% 的字节：76.8%）。这一差距在通过低秩微调使 BLT-1B 适应预算后依然存在（32.9% 对 72.7%，每条规则三次运行，配对 p < 1e-200），并且在从零开始训练、预算为 10% 的字节模型中随模型规模增大而扩大：在 1M、12M 和 50M 参数下，边界依赖在最终答案上分别以 -1.6、+10.1 和 +19.8 个百分点击败熵，在 50M 时其计算结果正确率为 35.9%，而熵为 13.9%（各 3 个种子）。BLT 的熵跳变规则在 50M 时对两个目标均无帮助。Scratchpad Patching 的熵触发器在最终答案上与随机 scratchpad 同样无法区分（5.6% 对 5.9%，5 个种子），而答案起始 scratchpad 为 38.1%。该效应特定于计算值：复制和查找获益甚微，模型无法计算的值则毫无获益。边界依赖——即移除补丁起始时模型自身损失的上升，按两字节上下文测量——无需标签即可找到这些位置：与熵结合后，它在计算结果上击败了手写规则。
| 评论： | 13 页，4 幅图，6 张表。代码、日志和结果：this https URL（存档：doi:https://doi.org/10.5281/zenodo.23238215） |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.11790 [cs.CL] |
| （或 arXiv:2610.11790v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11790 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Nicolás Vera [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 12:03:45 UTC（66 KB）
来源：arXiv cs.CL · arxiv.org