字节级语言模型新方法解耦计算与patch大小

Lin Zheng 等作者提出 Scratchpad Patching（SP）方法，用于字节级语言模型：在每个 patch 内插入临时 scratchpad，聚合已见字节并刷新 patch 级上下文，供后续预测使用。作者称，这一设计可缓解 patch 越大、因果滞后越严重的问题，从而把计算量与 patch 大小解耦。 该说法来自论文摘要，尚未见独立验证或量化效果数据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。