arXiv cs.AI· Kathan Shah·· 3 天前AI 评分25
Ember：面向 Token 接口的千字节级状态优化器
Ember: A Kilobyte-State Optimizer for Token Interfaces
AI 导读
研究者提出轻量优化器 Ember，专用于 embedding 与 LM-head 矩阵，优化器显存占用为 O(V + D)，而非 Adam 的 O(2VD)，且无需对 token 表优化器状态做分片。
正文 · AI 翻译
摘要：语言模型在离散符号上学习连续程序，嵌入表和 LM-head 充当两者之间的读写接口。我们表明，该接口具有与稠密隐藏权重不同的梯度几何结构，可利用这一特性在监督微调、RL 和预训练中改善帕累托前沿，同时仅使用千字节级的优化器状态。我们提出 Ember，一种用于嵌入和 LM-head 矩阵的轻量级优化器，它使用 $\mathcal{O}(V + D)$ 的优化器显存，而非 Adam 的 $\mathcal{O}(2VD)$，并且无需对两个 token 表的优化器状态进行分片。在两个数据集、三组配对种子的 50k 步预训练中，Ember 相对于调优后的 AdamW 将验证损失降低 0.08-0.09 nats；我们还提供了经验证据表明 Ember 可跨批次大小和参数量扩展。最后，我们提供了一个分布式 Ember 实现，可与现有 ZeRO/FSDP 设置干净地合并。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.01455 [cs.LG] |
| （或 arXiv:2607.01455v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.01455 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Kathan Shah [查看电子邮件]
[v1]
2026年7月1日星期三 20:21:03 UTC（2,105 KB）
[v2]
2026年7月7日星期二 07:29:48 UTC（2,105 KB）
[v3]
2026年7月15日星期三 02:52:22 UTC（2,108 KB）
[v4]
2026年10月11日星期日 23:28:50 UTC（2,098 KB）
来源：arXiv cs.AI · arxiv.org