arXiv cs.CL· Sai Kiran Bathula·· 11 小时前AI 评分38
冻结 16 MB 词表能否替代可训练嵌入？小型与三值语言模型实验
Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
AI 导读
研究者用一个由预训练嵌入经主成分投影和符号二值化得到的 512-bit 冻结码表（16 MB、无可训练参数）替换 Gemma 3 270M 的嵌入表，并在相同 2.05B tokens 上从头训练同构模型对比。
正文 · AI 翻译
摘要：在小语言模型中，词表是单一最大的部分。在 Gemma 3 270M 中，嵌入表占据了 268M 参数中的 168M，并且由于量化方法将嵌入保留为 16 位，当模型其余部分被压缩后，它也是文件的大部分。我们追问这张表究竟买到了什么。我们将其替换为一张冻结的 512 位编码表，16 MB，无可训练参数，由预训练嵌入通过主成分投影和符号二值化一次性导出，并且我们在相同的 2.05B token 上从头训练相同 Gemma 形状的主体，分别有和没有这张表。学习到的表以 2.6 倍的可训练参数换取了 0.20 nats 的验证损失，但在 LAMBADA、HellaSwag 和 PIQA 上，冻结表模型更好或持平；只有 ARC-Easy 偏向学习到的表。使用三值 BitNet b1.58 主体时，整个模型是一个 46 MB 的文件，在 LAMBADA 和 PIQA 上仍与浮点模型持平，并且在笔记本电脑 CPU 上以 62 MB 内存每秒生成 615 到 740 个 token，是浮点模型的 8 位 GGUF 在 此 http URL 中速度的五到六倍，内存仅为其七分之一。冻结表在稀有词上以 1.7 到 2.3 nats 胜出，训练后以 3% 的成本接受 10,000 个新词，而学习到的表则崩溃 43%，并且所有这些都与权重、数据和每个评估答案一起发布。
| 评论： | 9 页，2 图，6 表。代码、数据、检查点和逐题结果：此 https URL。预印本 DOI：https://doi.org/10.5281/zenodo.23382634 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22428 [cs.CL] |
| （或 arXiv:2610.22428v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.22428 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Saikiran Bathula [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 06:34:18 UTC（80 KB）
来源：arXiv cs.CL · arxiv.org