arXiv cs.CL· Hanxin Zhang·· 2 天前AI 评分27
TurboMamba：用词法记忆实现更快推理、更快训练与更优预测
TurboMamba: Faster Inference, Faster Training, and Better Prediction with Lexical Memory
AI 导读
TurboMamba 是一种语言模型架构，由每完成一个 token 块运行一次的全局 Mamba-3 模型与一个小型 Transformer 组成，后者结合全局上下文和块内前序 token 预测下一个 token。
正文 · AI 翻译
摘要：我们提出 TurboMamba，一种用于更快推理、更快训练和更好 token 预测的语言模型架构。一个全局 Mamba-3 模型在每个完成的 token 块上运行一次。一个小型 Transformer 利用该全局上下文以及块内较早的 token 来预测下一个 token。三项轻量级增强改进了局部预测：直接访问前一个块的最后一个 token、对下一个 token 分数的小幅修正，以及与近期 token 频率的学习混合。我们在公开的 FineWeb-Edu 上比较了十二个小规模实现，参数数量相当且共享训练预算上限。基线包括 Transformer、Mamba-3、Jamba 和 Zamba。Jamba 和 Zamba 版本使用 Mamba-3 替代其原有的 Mamba 模块。TurboMamba 在全部十二个模型中取得了最低的平均测试预测损失（负对数似然，NLL）。其平均 NLL 比 Mamba-3 低 9.4%，比 Jamba 版本低 7.3%，比 Zamba 版本低 18.3%。端到端训练吞吐量是 Mamba-3 的 2.60 倍，是 Jamba 版本的 2.81 倍，是 Zamba 版本的 4.82 倍。我们测量了 32 个序列的批次的端到端批延迟，每个序列包含 256 个 token 的提示和 128 个生成的 token。在此工作负载下，TurboMamba 相比 Mamba-3 实现了 3.12 倍加速，相比 Jamba 版本实现了 3.53 倍加速，相比 Zamba 版本实现了 6.21 倍加速。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20682 [cs.LG] |
| （或 arXiv:2610.20682v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20682 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hanxin Zhang [查看电子邮件]
[v1]
2026年10月14日星期三 16:29:19 UTC（79 KB）
来源：arXiv cs.CL · arxiv.org